跳到主要內容
1.3 常見的機器學習模型
114-4 科目 16

某團隊想採用循環神經網路(Recurrent Neural Network, RNN)建構長期氣候數據的預測模型,以下哪一項敘述最符合使用 RNN 可能會遇到的挑戰?

請選擇一個答案

答案 B

核心概念

RNN 靠隱藏狀態把前一時刻的資訊往後傳,天生適合處理序列資料。但它訓練時使用時間反向傳播(BPTT),誤差要一路乘回很多個時間步,當這些連乘的梯度值小於 1,往回傳幾十步之後就會趨近於 0——這就是梯度消失(Vanishing Gradient),結果是模型學不到「很久以前」的資訊。長短期記憶網路(LSTM)與門控循環單元(GRU)就是為了緩解這個問題而生。
答題技巧

快速判斷技巧:這題問「挑戰」,所以要找一個「真實存在的缺點」。(A)(C)(D) 都是在否定 RNN 的基本能力,只要知道 RNN 是專門吃序列的模型,這三個一眼就矛盾,剩下的就是答案。

易錯陷阱:(C) 寫「無法捕捉時間依賴」跟正確答案的「長序列學不好」只差一個程度副詞,容易看快就選錯。差別在於:RNN 是短期抓得到、長期抓不到,不是完全抓不到。