某雲端服務公司計畫將大型語言模型部署於線上系統,並以批次推論(Batch Inference)方式處理每日上百萬筆用戶請求。專案團隊在評估可能遇到的挑戰時,下列哪一項通常不會被視為批次推論階段的主要難題?
答案 (A) ※本題要選的是敘述有誤/不符合的那一個
核心概念
AI 生命週期要分清楚階段。訓練階段關心的是資料品質、標註、模型架構與收斂;推論/部署階段關心的是吞吐量、延遲、資源調度、成本與穩定性。批次推論屬於部署階段,模型權重已經固定,此時再談訓練語料的品質,已經不是這個階段能處理的問題。
答題技巧
快速判斷技巧:這題問「不會被視為推論階段的難題」,只要把每個選項貼上「訓練 or 推論」的標籤,唯一那張標成訓練的就是答案。(B)(C)(D) 全部都在講效能、資源、排程,一眼可見同一類。
易錯陷阱:(A) 講的是真實存在且重要的問題,很容易讓人覺得「這也是難題啊」而不敢選。要提醒自己這題問的是「階段歸屬」,不是「重不重要」——問題再重要,放錯階段就是答案。看到「不會、並非」這類反向問法,務必先確認題目在切分什麼維度。