跳到主要內容
2.3 生成式 AI 導入評估
115-1 科目 10

某企業建置檢索增強生成(Retrieval-augmented generation, RAG)系統支援內部知識查詢。隨著使用量提升,團隊發現模型回覆品質穩定,但推論延遲與運算成本逐漸增加。專案規劃在維持回覆品質前提下進行效能優化。在此情境下,若採用知識蒸餾(Knowledge Distillation),下列敘述何者最為合理?

請選擇一個答案

答案 D

核心概念

知識蒸餾採用「師生架構」——讓小模型(學生)去學習大模型(老師)的輸出行為,不只學最終答案,也學老師輸出的機率分布。訓練完成後,小模型能以遠低於大模型的運算量提供接近的品質,因此推論延遲與成本雙雙下降,非常適合本題「維持品質前提下降低成本」的需求。
答題技巧

快速判斷技巧:知識蒸餾的關鍵字就是「大模型教小模型」。看到選項出現師生關係的描述就選它,其他選項不必細看。

易錯陷阱:三個誘答都是用「取消或簡化某個元件」來換效能,這類「把功能砍掉當優化」的選項在架構題中一律是錯的——優化是要在維持功能的前提下降低成本。