某企業導入大型語言模型(LLM)進行長篇法規文件的問答查詢。使用者反映,當問題需整合文件中較不相關的資訊時,模型回答的連貫性與準確性明顯下降。技術團隊認為此現象與模型架構特性有關。下列何者最能說明傳統 Transformer 在此情境下的限制?
答案 (A)
核心概念
Transformer 有一個硬性限制——上下文窗口(Context Window)的長度是固定的,一次能看進去的 token 數量有上限。面對長篇法規文件時,模型無法把整份文件同時放進視野,只能處理被塞進窗口的那一段。當使用者的問題需要整合散落在文件不同位置的資訊時,其中一部分可能根本不在當前窗口內,回答的連貫性與準確性自然下降。
答題技巧
快速判斷技巧:長文件問答的限制題,答案幾乎都指向「上下文窗口有限」。實務上的解方是 RAG(先檢索出相關段落再送進窗口),這也是為什麼長文件查詢系統幾乎都會搭配 RAG。
易錯陷阱:(C) 前半句正確會讓人放行。務必讀完整句——「仍可完整處理所有輸入內容」與窗口限制直接矛盾。這類「前對後錯」的選項是本系列考卷的常見手法。