回帰型ニューラルネットワーク
Bart Koskoによって発表された双方向連想メモリ(bidirectional associative memory、BAM)ネットワークは、ベクトルとして連想データを貯蔵するホップフィールドネットワークの一変型である。双方向性は行列とその転置行列を通って情報が流れることから来ている。典型的には、双極符号化(英語版)が連想対の二値符号化よりも選好される。最近、マルコフ飛び(ステッピング)を用いた確率的BAMモデルが増強したネットワーク安定化ために最適化され、現実世界の応用と関わりを持った。
BAMネットワークは2つの層を持ち、そのうちのどちらかを、連想を思い出し、もう一方の層上へ出力を生成するための入力として動作させることができる。
ニューラルネットワークは入力を線形変換する処理単位からなるネットワークである。このネットワーク内に循環が存在する、すなわちユニットの出力が何らかの経路で自身へ再び入力する場合、これを回帰型ニューラルネットワークという。回帰のないネットワーク(順伝播型ニューラルネットワーク; Feed-Forward Network; FFN)と対比される。
RNNは任意のひと続きの入力を処理するために内部状態(記憶)を使うことができる。これによって、時系列のための時間的な動的振る舞いを示すことが可能となる。これによって、分割化されていない、つながりのある手書き文字認識や音声認識といった課題に応用が可能になっている。
「回帰型ニューラルネットワーク」という用語は、類似した一般構造を持つ2つの広いネットワークのクラスを指し示すために見境なく使われる。
ニューラルチューリングマシン(英語版)(Neural Turing machine、NTM)は、回帰型ニューラルネットワークを外部記憶装置を連結することによってそれらを拡張する手法である。RNNは注意(attention)過程によって外部記憶装置と相互作用できる。組み合わされた系はチューリングマシンまたはフォン・ノイマン構造と類似しているが、端から端まで微分可能(英語版)であり、これによって最急降下法を用いて効率的に学習することが可能となる。
エコー状態ネットワーク(英語版)(Echo state network、ESN)は、疎らに結合されたランダム隠れ層を持つ。出力ニューロンの重みは変更可能な(訓練可能な)ネットワークの一部でしかない。ESNは特定の時系列の再現に秀でている。スパイキングニューロンのための派生形式は液体状態マシン(英語版)として知られる。