在大型 Transformer 模型的效能優化過程中,常見的方法之一是「剪枝(Pruning)」。下列哪一項最符合該方法的核心概念?
答案 (B)
核心概念
模型壓縮有幾種主流手法,各有各的動作:剪枝(Pruning)是「剪掉」不重要的權重或神經元,讓模型變小變快;量化(Quantization)是降低數值精度(例如 FP32 → INT8),用更少位元表示同一個權重;知識蒸餾(Knowledge Distillation)是讓小模型去模仿大模型的輸出。剪枝的關鍵動詞就是「移除」。
答題技巧
快速判斷技巧:把壓縮三兄弟的動詞背起來——剪枝=移除、量化=降精度、蒸餾=小模型學大模型。題目問哪一個,就找對應的動詞。
易錯陷阱:(A) 的「更接近零」很容易讓人聯想到 L1 正則化把權重壓成 0,進而以為那就是剪枝。差別在於:正則化是訓練時讓權重變小,剪枝是真的把參數從模型裡拿掉。