回帰型ニューラルネットワーク
エルマン(英語版)ネットワークは、一連の「文脈ユニット」(右図中のu)を追加した3層ネットワーク(右図中でx、y、zとして垂直に配置されている)である。中央(隠れ)層は1の重みに固定されたこれらの文脈ユニットに結合されている。個々の時間ステップにおいて、入力は順伝播され、学習規則が適用される。固定された逆結合は文脈ユニット中の隠れユニットの以前の値のコピーを保存する(これは、それらが学習規則が適用する前に結合を通じて伝播されるためである)。したがって、ネットワークは一種の状態を維持することができ、これによって標準的な多層パーセプトロンの能力を超える時系列予測といった課題を実行することが可能となる。
ジョーダン(英語版)ネットワークはエルマンネットワークと似ている。文脈ユニットは隠れ層の代わりに出力層から入力を得る。ジョーダンネットワーク中の文脈ユニットは状態層とも呼ばれる。それらはそれら自身への回帰的結合を持つ。
エルマンネットワークとジョーダンネットワークは「単純回帰型ネットワーク(SRN)」としても知られている。