ニューラルネットワーク・プッシュダウン・オートマトン（NNPDA）はNTMと似ているが、（入力）テープは微分可能で、訓練される類似スタックによって置き換えられる。このようにして、NNPDAは文脈自由文法（CFG）の認識器と複雑さが似ている。
ニューラルチューリングマシン（Neural Turing machine、NTM）は、回帰型ニューラルネットワークを外部記憶装置を連結することによってそれらを拡張する手法である。RNNは注意（attention）過程によって外部記憶装置と相互作用できる。組み合わされた系はチューリングマシンまたはフォン・ノイマン構造と類似しているが、端から端まで微分可能であり、これによって最急降下法を用いて効率的に学習することが可能となる。
多重時間スケール（multiple timescales）回帰型ニューラルネットワーク（MTRNN）は、ニューロン間の空間的結合および異なる種類のニューロン活動（個々は異なる時間特性を持つ）に依存した自己組織化を通して脳の機能的階層をシミュレートできるニューラルネットワークに基づいた計算モデルである。こういった変化に富んだ神経活動により、一連の挙動の連続的変化が再使用可能なプリミティブへと分割され、それらは次に多様な逐次的挙動へと柔軟に統合される。こういった種類の階層の生物学的同意は、ジェフ・ホーキンスによる著書『考える脳 考えるコンピューター 』（2005年）中の脳機能の自己連想記憶理論において議論された。
一般に、回帰型多層パーセプトロン（Recurrent Multi-Layer Perceptron、RMLP）ネットワークは直列のサブネットワークから構成され、それぞれのサブネットワークは多層のノードを含む。これらのサブネットワークのそれぞれは、フィードバック結合を持ちうる最終層を除いて順伝播型である。これらのサブネットワークのそれぞれは、順伝播型結合によってのみ結合されている。
双方向性（bi-directional）RNNsは要素の過去および未来の文脈に基づいて配列の個々の要素を予測あるいはラベル付けするために有限配列を用いる。これは、2つのRNNの出力を統合することによってなされる。一方のRNNは配列を左から右へ、もう一方は右から左へと処理する。統合された出力は教師が与えられた対象シグナルの予測である。この技法はLSTM RNNsを組み合わせた時に特に有用であることが証明されている。
ゲート付き回帰型ユニット（GRUs）は2014年に発表された回帰型ニューラルネットワークにおけるゲート機構である。完全な形式やいくつかの単純化された方式で使われている。多声音楽モデリングおよび音声信号モデリングにおけるそれらの性能は長・短期記憶の性能と似ていることが明らかにされた。これらは出力ゲートを持っていないため、LSTMよりもパラメータが少ない。
長・短期記憶（LSTM）は勾配消失問題を回避するディープラーニング（深層学習）システムである。LSTMは通常、「忘却」ゲートと呼ばれる回帰型ゲートによって拡張されている。LSTMは勾配の消失または爆発からの逆伝播誤差を防ぐ。代わりに、誤差は空間方向に展開された無制限の数のバーチャル層を通して逆向きに流れる。すなわち、LSTMは、数千または数百万離れた時間段階前に起こった事象の記憶を必要とする課題を学習できる。問題特化型のLSTM的トポロジーを発展させることができる。。LSTMは重要な事象間に長い遅延が与えられても機能し、低周波数と高周波数成分を混合した信号を扱うことができる。多くの応用がLSTM RNNのスタックを用いており、訓練セット中のラベル配列の確率を最大化するRNN重み行列を見付けるためにそれらをコネクショニスト時系列分類（CTC）によって訓練している。CTCはアラインメントと認識の両方を達成する。LSTMは隠れマルコフモデル（HMM）や類似の概念に基づく以前のモデルとは異なり、文脈依存言語を認識することを学習することができる。
二次（second order）RNNは、標準的な重みの代わりにより高次の重みを用い、状態は積となる。これによって、訓練、安定性、表現において有限状態機械への直接的マッピングが可能となる。長・短期記憶（LSTM）はこの一例であるが、こういった形式的マッピングまたは安定性の証明は持たない。
1964年東京オリンピックの柔道競技会場として建設され、同年10月3日に開館した。設計は山田守、施工は竹中工務店（全国建設業協会会長から推薦されて決定）、総工費は当時の金額で18億円である。法隆寺夢殿をモデルにした八角形の意匠である。大屋根の稜線は富士山をイメージしている。日本の武道（柔道・剣道・弓道・相撲・空手道・合気道・少林寺拳法・なぎなた・銃剣道・古武道）の稽古場、競技場として使用されている。また、ダンス、マーチングバンド・バトントワリングの競技会に使われるほか、民放キー局が主催・放送していた、年末の賞取りレースと称される音楽祭（1988年まで）コンサートや格闘技（プロボクシング、プロレスリング、総合格闘技）の興行会場、大学や企業などの大規模な入学式・卒業式・株主総会の会場として、幅広く使用される。設立された頃は「日本武道の聖地」的な意味合いが現在以上に強かったため、1966年にビートルズのコンサートが行われた際には、時の武道館館長であった正力松太郎や政治評論家の細川隆元を始め「日本の武道文化を冒涜する」などとして異を唱える者も多かった。コンサートが正力の読売新聞主催で行われることになると、正力は以後前述の論を口にすることは無くなり、ビートルズのコンサートが実現して以後は日本における音楽の聖地としても知られるようになり、多くのミュージシャンにとっての憧れの舞台になっている。またチープ・トリックのライブ・アルバム『チープ・トリックat武道館』の成功をきっかけに、世界的にもロックコンサートの代名詞的存在としてその名が知られている。文部科学省からの補助金等は、2010年（平成22年）度の場合、4240万7000円が交付されている。