梯度消失問題

梯度消失問題係運用梯度下降法嘅人工神經網絡上會遇到嘅一個問題，即啲梯度更新值成指數噉衰減、導致啲梯度唔點變乜嚌。

想像一個機械學習研究者用訓練一個神經網絡，用個網絡做預測嘅準確度作為表現指標；梯度下降法靠嘅係睇現時參數位置周圍嘅準確度，並且將參數移去會令準確度更高嘅數值；問題係喺某啲情況下，梯度會消失，於是個演算法就會唔識改變參數嘅數值，甚至令學習過程完全停止。

梯度爆炸問題

機械學習
人工神經網絡