長・短期記憶
LSTMを用いるRNNは、一連の訓練において、教師あり学習のやり方で訓練できる。訓練では、最適化プロセス中で必要な勾配を計算するための通時的誤差逆伝播法(英語版)(Backpropagation through time、BPTT)と組み合わせて最急降下法のような最適化アルゴリズムを使って、(LSTMネットワークの出力層における)誤差の微分に比例してLSTMネットワークの個々の重みを変化させる。
標準的なRNNに対して最急降下法を使用することの問題点は、誤差勾配が重要な事象間の時間のずれの大きさにしたがって指数関数的にすばやく消失することである。これは、 W {\displaystyle W} のスペクトル半径が1よりも小さいと lim n → ∞ W n = 0 {\displaystyle \lim _{n\to \infty }W^{n}=0} となるためである。
しかしながら、LSTMユニットを使うと、誤差値が出力層から逆伝播される時、誤差はLSTMユニットのセル内に留まる。この「誤差カルーセル」はLSTMユニットのゲートが値のカットオフを学習するまで、個々のゲートへ誤差を絶えずフィードバックする。