梯度消失问题 梯度消失问题Vanishing gradient problem是一种机器学习中的难题出現在以梯度下降法和反向传播训练人工神經網路的時候在每次訓練的迭代中神经网路权重的更新值与误差函数的偏導數成比例然而在某些情况下梯度值会几乎消失使得权重无法得到有效更新甚至神經網路可能完全无法继续训练舉個例子來說明問題起因一個传统的激勵函数如双曲正切函数其梯度值在  范围内反向传播以链式法则来计算梯度 這樣做的效果相当于在n層網路中将n个這些小数字相乘來計算前端層的梯度这就使梯度误差信号随着n呈指數遞減导致前端層的訓練非常緩慢 反向傳播使研究人員從頭開始訓練監督式深度人工神經網路最初收效甚微 年賽普霍克賴特Hochreiter的畢業論文正式確認了梯度消失問題失敗的原因梯度消失問題不僅影響多層前饋網絡還影響循環網路循環網路是通過將前饋網路深度展開來訓練在網路處理的輸入序列的每個時間步驟中都會產生一個新的層 當所使用的激勵函數之導數可以取較大值時則可能會遇到相關的梯度爆炸問題exploding gradient problem