跳到主要內容
1.4 鑑別式 AI 與生成式 AI 的基本原理
115-2 科目 47

某大型語言模型(LLM)在訓練過程中,研究人員發現模型在生成文本時,長期集中產生少數幾種相似的回應形式,缺乏多樣性。下列何者最能說明此現象及其可能原因?

請選擇一個答案

答案 B

核心概念

模式崩潰指的是生成模型只學會產出資料分布中的少數幾種模式,把其他可能性都丟掉了——結果就是不論輸入什麼,輸出都長得差不多,多樣性嚴重不足。這個現象最早在生成對抗網路的訓練中被廣泛討論(生成器發現某幾種輸出最容易騙過判別器,就一直產出那幾種),在語言模型的生成訓練中同樣可能出現。
答題技巧

快速判斷技巧:把症狀與名詞配對記牢——輸出樣式單一=模式崩潰;訓練好測試差=過度擬合;訓練誤差不動=梯度消失。看到「缺乏多樣性」直接選模式崩潰。

易錯陷阱:(A) 過度擬合是最常被亂套的名詞。分辨方式:過度擬合講的是「泛化能力」問題(在新資料上表現差),模式崩潰講的是「輸出多樣性」問題(產出來來去去就那幾種),兩者觀察的面向完全不同。