在深度學習模型的微調(Fine-tuning)過程中,可能出現所謂的「災難性遺忘(Catastrophic Forgetting)」。此現象最可能造成哪種情況?
答案 (D)
核心概念
預訓練模型的權重裡存著大量通用知識。微調時如果只用某個窄領域的小資料集、又用了偏大的學習率訓練太久,權重會被新資料整個帶著跑,原本存下來的通用能力就被覆蓋掉——新任務變強、舊任務崩壞,這就是災難性遺忘。常見的緩解方式包括降低學習率、凍結部分層、參數高效微調(如 LoRA)、或混入原始領域資料一起訓練。
答題技巧
快速判斷技巧:抓住「遺忘的是舊的、不是新的」這個方向。凡是描述「學不會新東西」的選項一律排除,只留下「舊能力退步」的那一個。
易錯陷阱:(B) 只把方向對調就變成誘答,掃太快很容易踩。建議看到這類名詞題,先在心裡把名詞拆開解釋一次——災難性「遺忘」,忘掉的當然是原本會的東西。