長・短期記憶（LSTM）は勾配消失問題を回避するディープラーニング（深層学習）システムである。LSTMは通常、「忘却」ゲートと呼ばれる回帰型ゲートによって拡張されている。LSTMは勾配の消失または爆発からの逆伝播誤差を防ぐ。代わりに、誤差は空間方向に展開された無制限の数のバーチャル層を通して逆向きに流れる。すなわち、LSTMは、数千または数百万離れた時間段階前に起こった事象の記憶を必要とする課題を学習できる。問題特化型のLSTM的トポロジーを発展させることができる。。LSTMは重要な事象間に長い遅延が与えられても機能し、低周波数と高周波数成分を混合した信号を扱うことができる。
LSTMは隠れマルコフモデル（HMM）や類似の概念に基づく以前のモデルとは異なり、文脈依存言語を認識することを学習することができる。
ゲート付き回帰型ユニット.
双方向性.
連続時間.
上式において、
階層的.
多重時間スケールモデル.
微分可能ニューラルコンピュータ.
ニューラルネットワーク・プッシュダウン・オートマトン.
線形回帰.
線形回帰（）は非線形活性化関数を持たない回帰モジュール・レイヤーである。
訓練.
最急降下法.
大域的最適化手法.
ニューラルネットワークにおける重みの訓練は、非線形問題としてモデル化できる。目的関数は、以下のように特定の重みベクトルの適合度または誤差を評価するために作ることができる。第一に、ネットワークの重みは重みベクトルにしたがって設定される。次に、ネットワークは訓練配列に対して評価される。典型的には、予測値と訓練配列中で指定される目標値との間の差分二乗和が現在の重みベクトルの誤差を表わすために使われる。任意の大域的最適化技法を次に目的関数を最小化するために使うことができる。
多くの染色体が集団を作り上げる。しあたがって、多くの異なるニューラルネットワークは停止基準が満されるまで進化する。一般的な停止スキームは、
である。停止基準は、訓練中の個々のネットワークからの平均二乗誤差の逆数を得る適応度関数によって評価される。したがって、遺伝的アルゴリズムの目標は適応度関数を最大化する（これによって平均二乗誤差が減少する）ことである。