ニューラルヒストリーコンプレッサ（neural history compressor）はRNNの教師なしスタックである。入力レベルにおいて、前の入力から次の入力を予測することを学習する。この階層型構造において一部のRNNの予測不可能な入力のみが次のより高いレベルのRNNへの入力となる。したがって、極めてまれにしかその内部状態は再計算されない。ゆえに、個々のより高位のRNNは下位RNN中の情報の圧縮表現を学ぶ。これは、入力配列がより高レベルにおける表現から正確に再構成できるような方法で行われる。このシステムは、記述長またはデータの確率の負の対数を効果的に最小化する。入ってくるデータ配列中の多量の学習可能な予測可能性を考えると、最高レベルのRNNは、重要な事象間に長い間隔がある深い配列でさえも容易に分類するために教師あり学習を用いることができる。このRNN階層を2つのRNN、「意識的」チャンカー（高位）と「無意識的」オートマタイザー（下位）に抜き出すことが可能である。チャンカーがオートマタイザーによって予測不可能な入力の予測と圧縮を学習すると、次にオートマタイザーは次の学習フェーズにおいて追加ユニットを通して、よりゆっくりと変化するチャンカーの隠れ層を予測または模倣することになる。これによってオートマタイザーが、長い間隔を超えて適切な、めったに変化しない記憶を学習することが容易になる。次に、チャンカーが残った予測不可能な事象に注視できるように、これはオートマタイザーが以前は予測不可能だった入力の多くを予測できるものとするのを助ける。生成モデルは、1992年に自動微分またはバックプロパゲーションの勾配消失問題を部分的に克服した。1993年、こういったシステムは時間方向に展開されたRNN中に1000を超える後続層を必要とする「非常に深い学習」課題を解決した。
再帰型ニューラルネットワーク（recursive neural network）は、トポロジカル順序で可微分なグラフ様構造を横断することによって、同じ一連の重みを構造に再帰的に適用することによって作られる。このようなネットワークは典型的に自動微分の反転モードによって訓練することもできる。再帰型ニューラルネットワークは、論理項といった構造の分散表現を処理することできる。再帰型ニューラルネットワークの特殊な場合が、構造が直鎖に対応するRecurrent（回帰型）NNである。再帰型ニューラルネットワークは自然言語処理に応用されてきた。再帰型ニューラルテンソルネットワークは、木中の全てのノードに対してテンソルベースの合成関数を使用する。
独立回帰型ニューラルネットワーク（Independently recurrent neural network、IndRNN）は、従来の完全結合型RNNにおける勾配消失および爆発問題に対処する。1つの層中の個々のニューロンは（この層中の他の全てのニューロンへの完全な結合の代わりに）文脈情報としてそれ自身の過去状態のみを受け取り、ゆえにニューロンは互いの履歴に独立である。勾配バックプロパゲーションは、長期または短期記憶を保持するため、勾配消失および爆発を避けるために制御することができる。ニューロン間情報は次の層において探索される。IndRNNはReLUといった非飽和非線形関数を使って確実に訓練することができる。スキップコネクションを使うことで、深いネットワークを訓練することができる。
エコー状態ネットワーク（Echo state network、ESN）は、疎らに結合されたランダム隠れ層を持つ。出力ニューロンの重みは変更可能な（訓練可能な）ネットワークの一部でしかない。ESNは特定の時系列の再現に秀でている。スパイキングニューロンのための派生形式は液体状態マシンとして知られる。
Bart Koskoによって発表された双方向連想メモリ（bidirectional associative memory、BAM）ネットワークは、ベクトルとして連想データを貯蔵するホップフィールドネットワークの一変型である。双方向性は行列とその転置行列を通って情報が流れることから来ている。典型的には、双極符号化が連想対の二値符号化よりも選好される。最近、マルコフ飛び（ステッピング）を用いた確率的BAMモデルが増強したネットワーク安定化ために最適化され、現実世界の応用と関わりを持った。BAMネットワークは2つの層を持ち、そのうちのどちらかを、連想を思い出し、もう一方の層上へ出力を生成するための入力として動作させることができる。
理論の基本的な構造はいくつかの科学哲学や論理学の原理に基づいたものである。そもそも理論はその目的に従って、まず因果性や現実性が説得的であり、また現実の事象と比較して簡潔であり、さらに既存の知識や常識とは反する自明ではない結論を導き出し、しかも原因としての独立変数と結果の従属変数を繋ぐ枠組みが明快でなければならない。最後に理論はその真偽を問うことが可能な性質、つまり反証可能性を保持しなければならない。以上の理論の対象となっている事象の重要性や実務的な実践性を加えることもできる。理論の基本的な構造は論理学的な論証に見ることができる。論証は前提と結論という宣言的な論述から成り、前提から始まって推論の過程を経て結論が真であると主張するものである。これは妥当であるか妥当でないかによって判断される。ただしこの論証を構成する前提と結論はそれぞれ命題という不確かな意味を持たない客観的な言語的な記述であり、その定義によって概念が確立されていなければならない。つまり定義が定められた概念を以って推論することによって、公理や原理を導き出すことが初めて可能となる。ユークリッド幾何学を確立した古代ギリシアの数学者であるエウクレイデスは『原論』においてまず点と線についての定義を示し、これらの概念を用いて自明であるとされる五つの公理系をも示す。そしてその公理系に従って500もの仮説を証明して定理を導き出した。こうして構築されたユークリッド幾何学は現在でも完成された数学理論として高く評価されている。ただしこのような理論は演繹的な方法論により構築された理論であり、帰納的な方法論によって導き出されたものであってもその論理性が認められれば妥当である。例えば、政治学や社会学、生物学や実験物理学など帰納的または統計学的な手法に基づいた自然科学的または社会科学的な理論は数多い。