在 AI 推論服務架構設計中，「批次推論（Batch Inference）」與「即時推論（Real-time Inference）」常依任務特性選擇不同機制。下列關於兩者特性的敘述何者最正確？

Question

(A) 批次推論通常以同步請求方式回傳結果，以確保資料一致性；即時推論則多採非同步機制以提升系統吞吐量（Throughput）
(B) 批次推論多用於延遲容忍度較高的大規模資料處理，通常以吞吐量（Throughput）最佳化為優先；即時推論則著重於請求回應時間的穩定性與低延遲特性
(C) 批次推論因計算資源需求高，僅適用於影像類模型；即時推論則主要應用於結構化資料模型
(D) 即時推論為確保回應速度，通常限制為單筆資料輸入；批次推論則可支援同步多筆資料即時回傳

Accepted Answer

正確答案：(B) 批次推論多用於延遲容忍度較高的大規模資料處理，通常以吞吐量（Throughput）最佳化為優先；即時推論則著重於請求回應時間的穩定性與低延遲特性

兩種推論模式的取捨點在「延遲 vs 吞吐量」。批次推論把大量資料集中起來一次處理（例如每晚跑一次全客戶的評分），使用者不需要立刻拿到結果，因此可以盡量塞滿硬體資源、把吞吐量拉到最高。即時推論則是使用者送一筆、系統回一筆（例如線上客服、即時推薦），成敗關鍵在於回應時間夠不夠短、夠不夠穩定。

在 AI 推論服務架構設計中，「批次推論（Batch Inference）」與「即時推論（Real-time Inference）」常依任務特性選擇不同機制。下列關於兩者特性的敘述何者最正確？

核心概念