勾配消失問題
誤差逆伝播法の開発により、教師あり学習で深層ニューラルネットワークを学習させることができるようになったが、当初はあまりうまくいかなかった。こうした学習の失敗について、Hochreiter(英語版)が1991年に発表した学位論文で、その原因が勾配消失問題にあることを特定した。勾配消失問題は順伝播型の多層ニューラルネットワークだけでなく、回帰型ニューラルネットワークにおいても生じる。回帰型ニューラルネットワークは学習の際、ネットワークに入力される系列データを処理する時間ステップごとにモデルの複製を追加することで、時間方向に展開された非常に深い順伝播のネットワークと見なして逆伝播を適用することができる。このような学習方法は通時的誤差逆伝播法(英語版)(BPTT法とも)と呼ばれている。