某金融集團評估將大型語言模型導入客服與風控系統,團隊採用如 120B 參數等級的超大型語言模型以確保回應品質。請問下列何者最能說明企業在正式環境部署超大型語言模型時,最需要優先考量的因素?
答案 (C)
核心概念
模型參數量直接決定了推理時的運算量與記憶體佔用。1200 億參數等級的模型,每一次請求都要載入並計算龐大的權重,結果是回應延遲拉長、GPU 資源消耗巨大、單次請求成本遠高於小型模型。在客服這種高併發、高頻次的場景中,這筆成本會被放大到非常可觀的規模,因此導入前必須在「回應品質」與「營運成本」之間做出審慎權衡(可能的折衷包括模型蒸餾、量化、或依問題複雜度做模型路由)。
答題技巧
快速判斷技巧:部署大模型的第一考量永遠是「延遲與成本」。含有「不需考量成本」「無法支援某項基本功能」這類極端敘述的選項先刪。
易錯陷阱:(A) 把「參數多」與「輸出不穩定」硬扯在一起,聽起來有點道理但因果錯誤。要記住:輸出穩不穩定是取樣策略的事(溫度、Top-p),跟模型多大無關。