某團隊想採用循環神經網路(Recurrent Neural Network, RNN)建構長期氣候數據的預測模型,以下哪一項敘述最符合使用 RNN 可能會遇到的挑戰?
答案 (B)
核心概念
RNN 靠隱藏狀態把前一時刻的資訊往後傳,天生適合處理序列資料。但它訓練時使用時間反向傳播(BPTT),誤差要一路乘回很多個時間步,當這些連乘的梯度值小於 1,往回傳幾十步之後就會趨近於 0——這就是梯度消失(Vanishing Gradient),結果是模型學不到「很久以前」的資訊。長短期記憶網路(LSTM)與門控循環單元(GRU)就是為了緩解這個問題而生。
答題技巧
快速判斷技巧:這題問「挑戰」,所以要找一個「真實存在的缺點」。(A)(C)(D) 都是在否定 RNN 的基本能力,只要知道 RNN 是專門吃序列的模型,這三個一眼就矛盾,剩下的就是答案。
易錯陷阱:(C) 寫「無法捕捉時間依賴」跟正確答案的「長序列學不好」只差一個程度副詞,容易看快就選錯。差別在於:RNN 是短期抓得到、長期抓不到,不是完全抓不到。