回帰型ニューラルネットワーク
この問題は、ニューロンの文脈をそれ自身の過去状態に減らすことによって独立回帰型ニューラルネットワーク(IndRNN)でも解決され、次にニューロン横断的情報は続く層において探索できる。長期記憶を含む異なる範囲の記憶は勾配消失および爆発問題を起こさずに学習できる。
因果的再帰誤差逆伝播法(causal recursive backpropagation、CRBP)は、局所的に回帰したネットワークのためにBPTTおよびRTRL枠組みを実装し、組み合わせる。CRBPは最も一般的な局所回帰型ネットワークと連携する。CRBPアルゴリズムは大域誤差項を最小化できる。この事実はアルゴリズムの安定性を向上し、これは局所フィードバックを持つ回帰型ネットワークのための勾配計算技法に関する統一的な概観をもたらす。
任意の構造を持つRNNにおける勾配情報の計算のためのある手法は、シグナルフローグラフ図式導出(signal-flow graphs diagrammatic derivation)に基づく。この手法はBPTTバッチアルゴリズムを用い、ネットワーク感度計算に関するLeeの定理に基づく。これはWanおよびBeaufaysによって提案されたが、その高速なオンライン版はCampolucci、Uncini、およびPiazzaによって提案された。
再帰型ニューラルネットワーク(英語版)(recursive neural network)は、トポロジカル順序で可微分なグラフ様構造を横断することによって、同じ一連の重みを構造に再帰的に適用することによって作られる。このようなネットワークは典型的に自動微分の反転モードによって訓練することもできる。再帰型ニューラルネットワークは、論理項といった構造の分散表現を処理することできる。再帰型ニューラルネットワークの特殊な場合が、構造が直鎖に対応するRecurrent(回帰型)NNである。再帰型ニューラルネットワークは自然言語処理に応用されてきた。再帰型ニューラルテンソルネットワークは、木中の全てのノードに対してテンソルベースの合成関数を使用する。
二次(second order)RNNは、標準的な重み w i j {\displaystyle w{}_{ij}} の代わりにより高次の重み w i j k {\displaystyle w{}_{ijk}} を用い、状態は積となる。これによって、訓練、安定性、表現において有限状態機械への直接的マッピングが可能となる。長・短期記憶(LSTM)はこの一例であるが、こういった形式的マッピングまたは安定性の証明は持たない。
回帰型ニューラルネットワークの応用:
機械翻訳
ロボット制御(英語版)
時系列予想
音声認識
時系列異常検出
リズム学習
作曲
文法学習
手書き文字認識
人物行動認識
タンパク質相同性検出
タンパク質の細胞内局在の予測
ビジネスプロセス管理の分野におけるいくつかの予測課題
医療パスにおける予測
RNNには多くの派生形式がある。
階層的(hierarchical)RNNsは、階層的振る舞いを有用なサブプログラムへと分解するために様々なやり方でそれらのニューロンを結合する。