長・短期記憶
LSTMは1997年にゼップ・ホッフライター(英語版)とユルゲン・シュミットフーバー(英語版)によって提唱された。Constant Error Carousel(定誤差カルーセル、CEC)ユニットの導入によって、LSTMは勾配爆発および消失問題を解決しようとする。LSTMブロックの最初の型はセル、入力ゲート、および出力ゲートを含んでいた。
1999年、フェリックス・ゲルス(英語版)と彼のアドバイザーのユルゲン・シュミットフーバーとFred CumminsはLSTMアーキテクチャへ忘却ゲート(「保持ゲート」とも)を導入した。これはLSTMが自身の状態をリセットすることを可能にする。2000年、 ゲルス、シュミットフーバー、CumminsはLSTMアーキテクチャへ覗き穴(peehole)結合(セルからゲートへの結合)を追加した。加えて、出力活性化関数は削除された。
2014年、Kyunghyun Cho(조 경현)らはゲート付き回帰型ユニット(Gated recurrent unit、GRU)と呼ばれる単純化した変異型を提案した 。
その他の成功の中で、LSTMは自然言語テキスト圧縮と分割されていないつながった手書き文字認識で新記録を達成し、IDCAR(英語版)手書き文字認識大会(2009年)で優勝した。
x t ∈ R d {\displaystyle x_{t}\in \mathbb {R} ^{d}} : LSTMユニットへの入力ベクトル
f t ∈ R h {\displaystyle f_{t}\in \mathbb {R} ^{h}} : 忘却ゲートの活性化ベクトル
i t ∈ R h {\displaystyle i_{t}\in \mathbb {R} ^{h}} : 入力ゲートの活性化ベクトル
o t ∈ R h {\displaystyle o_{t}\in \mathbb {R} ^{h}} : 出力ゲートの活性化ベクトル
h t ∈ R h {\displaystyle h_{t}\in \mathbb {R} ^{h}} : LSTMユニットの出力ゲートとも呼ばれる隠れ状態ベクトル
c t ∈ R h {\displaystyle c_{t}\in \mathbb {R} ^{h}} : セル状態ベクトル
W ∈ R h × d {\displaystyle W\in \mathbb {R} ^{h\times d}} 、 U ∈ R h × h {\displaystyle U\in \mathbb {R} ^{h\times h}} 、 b ∈ R h {\displaystyle b\in \mathbb {R} ^{h}} : 訓練中に学習される必要がある重み行列およびバイアスベクトルのパラメータ
上付き文字 d {\displaystyle d} および h {\displaystyle h} はそれぞれ入力要素の数および隠れユニットの数を示す。