跳到主要內容
2.3 生成式 AI 導入評估
114-4 科目 42

某金融機構導入檢索增強生成(Retrieval-Augmented Generation, RAG)模型,用於客服文件查詢與自動回覆。由於大型模型運算成本過高,若考慮引入知識蒸餾(Knowledge Distillation, KD)技術,下列何者為帶來的主要效益?

請選擇一個答案

答案 A

核心概念

知識蒸餾是模型壓縮的一種手法,讓一個小模型(學生)去學習大模型(老師)的輸出行為——不只學最終答案,還學老師輸出的機率分布(軟標籤),藉此把大模型的「判斷經驗」轉移過來。結果是模型體積與運算成本大幅下降,效能卻能維持在可接受的水準,非常適合成本敏感的線上服務場景。
答題技巧

快速判斷技巧:先看選項語氣。含有「只能」「無法」「僅能依賴」的敘述多半是編造的限制,先刪;剩下那個平實描述技術效益的通常就是答案。

易錯陷阱:(C) 把兩個不同層次的技術混為一談,是常見的觀念混淆。建立清楚的分工圖:RAG 管知識、微調管風格、蒸餾與量化管成本,三條線各走各的。