在進行大型語言模型（LLM）企業專屬知識的 Fine-tuning 時，若內部 GPU 運算資源與記憶體嚴重受限，下列哪一種參數高效微調（PEFT, Parameter Efficient Fine-Tuning）技術最能在維持模型效能的前提下，顯著降低需更新的參數數量？

Question

(A) 知識蒸餾（Knowledge Distillation）
(B) 提示詞工程（Prompt Engineering）
(C) 梯度凍結（Gradient Freezing）
(D) 低秩適配（Low-Rank Adaptation）

Accepted Answer

正確答案：(D) 低秩適配（Low-Rank Adaptation）

LoRA（Low-Rank Adaptation，低秩適配）是目前最主流的參數高效微調技術。它的做法是凍結原始模型的全部權重，只在特定層旁邊插入兩個很小的低秩矩陣來學習任務差異——需要更新的參數量可能只有原模型的千分之幾，記憶體需求與訓練成本因此大幅下降，效能卻能逼近全參數微調。