長・短期記憶
長・短期記憶(ちょう・たんききおく、英: Long short-term memory、略称: LSTM)は、深層学習(ディープラーニング)の分野において用いられる人工回帰型ニューラルネットワーク(RNN)アーキテクチャである。標準的な順伝播型ニューラルネットワークとは異なり、LSTMは自身を「汎用計算機」(すなわち、チューリングマシンが計算可能なことを何でも計算できる)にするフィードバック結合を有する。LSTMは(画像といった)単一のデータ点だけでなく、(音声あるいは動画といった)全データ配列を処理できる。例えば、LSTMは分割されていない、つながった手書き文字認識や音声認識といった課題に適用可能である。ブルームバーグ ビジネスウィーク誌は「これらの力がLSTMを、病気の予測から作曲まで全てに使われる、ほぼ間違いなく最も商業的なAIの成果としている」と書いた。
σ g {\displaystyle \sigma _{g}} : シグモイド関数
σ c {\displaystyle \sigma _{c}} : 双曲線正接関数
σ h {\displaystyle \sigma _{h}} : 双曲線正接関数または、覗き穴LSTMの論文が提案しているように σ h ( x ) = x {\displaystyle \sigma _{h}(x)=x}
重み行列と活性化関数を集約することで
( f t T , i t T , o t T , c i t T ) T = σ ( W x t + U h t − 1 + b ) c t = f t ∘ c t − 1 + i t ∘ c i t h t = o t ∘ σ h ( c t ) {\displaystyle {\begin{aligned}(f_{t}^{T},i_{t}^{T},o_{t}^{T},ci_{t}^{T})^{T}&=\sigma (Wx_{t}+Uh_{t-1}+b)\\c_{t}&=f_{t}\circ c_{t-1}+i_{t}\circ ci_{t}\\h_{t}&=o_{t}\circ \sigma _{h}(c_{t})\end{aligned}}}