回帰型ニューラルネットワーク
回帰型ニューラルネットワークは1986年のデビッド・ラメルハートの研究に基づく。ホップフィールド・ネットワークは1982年にジョン・ホップフィールドによって見出された。1993年、ニューラルヒストリー圧縮システムが、時間に展開されたRNN中で1000以上の層を必要とする「非常に深い学習」問題を解決した。
長・短期記憶(LSTM)は2007年頃から音声認識に革命をもたらし始め、特定の音声認識への応用において伝統的なモデルをしのいだ。2009年、コネクショニスト時系列分類(英語版)(CTC)で訓練されたLSTMネットワークは、パターン認識大会で優勝した初のRNNとなった。このネットワークはつながった手書き文字認識の複数の大会で優勝した。2014年、中国の大手検索サイト百度は、伝統的な音声処理法を用いることなくSwitchboard Hub5'00音声認識ベンチマークを破るためにCTCで訓練されたRNNを用いた。
LSTMはまた、大規模語彙音声認識およびテキスト音声合成を改良し、Google Androidにおいて使われた.。2015年、GoogleはCTCで訓練されたLSTMによって音声認識の劇的な性能向上が達成されたと報告され、この技術はGoogle Voice Search(英語版)で使用された。
LSTMは機械翻訳、言語モデリング、多言語処理の記録を破った。畳み込みニューラルネットワーク(CNN)と組み合わされたLSTMは自動画像キャプション(短い説明文)付けを向上させた。
1つは有限インパルス、もう1つは無限インパルスである。どちらのネットワークのクラスも時間的な動的振る舞いを示す。有限インパルス回帰型ネットワークは厳密な順伝播型ニューラルネットワークに展開でき、置き換えることができる有向非巡回グラフであるのに対して、無限インパルス回帰型ネットワークは展開できない有向巡回グラフである。
有限インパルスと無限インパルス回帰型ネットワークはどちらも追加の保管状態を持つことができ、この保管場所はニューラルネットワークによる直接的な制御下とすることができる。保管場所は他のネットワークやグラフが時間遅延を取り込むか、フィードバックループを持つのであれば、それらで置き換えることもできる。こういった制御された状態はゲート状態またはゲート記憶と呼ばれ、長・短期記憶ネットワーク(LSTMs)およびゲート付き回帰型ユニット(GRUs)の一部である。
ホップフィールドネットワークは全ての結合が対称的なRNNである。定常入力を必要とし、複数パターンの配列を処理しないため、汎用RNNではない。ホップフィールドネットワークは収束することを保証している。もし結合がヘッブの学習を用いて訓練されるならば、ホップフィールドネットワークは結合変化に抵抗性のある頑強な連想メモリとして機能することができる。