回帰型ニューラルネットワーク
双方向性(bi-directional)RNNsは要素の過去および未来の文脈に基づいて配列の個々の要素を予測あるいはラベル付けするために有限配列を用いる。これは、2つのRNNの出力を統合することによってなされる。一方のRNNは配列を左から右へ、もう一方は右から左へと処理する。統合された出力は教師が与えられた対象シグナルの予測である。この技法はLSTM RNNsを組み合わせた時に特に有用であることが証明されている。
BPTTとは異なり、このアルゴリズムは時間について局所的だが、空間については局所的でない。
この文脈において、空間について局所的とは、単一ユニットの更新計算量が重みベクトルの次元において線形であるように、ユニットの重みベクトルが結合されたユニットとユニットそれ自身に蓄えられた情報のみを用いて更新できることを意味する。時間について局所的とは、更新が連続的に(オンラインで)起こり、BPTTのように任意の時間地平線内の複数の時間ステップではなく最も近い時間ステップにのみ依存することを意味する。生物学的ニューラルネットワークは時間と空間の両方に関して局所的であるように見える。
偏微分の再帰的計算について、RTRLはヤコビ行列を計算するために時間ステップ毎にO(隠れ層の数 × 重みの数) の時間計算量を持つのに対して、BPTTは任意の時間地平線内の全ての順方向活性化を記憶するという代償を払って、時間ステップ毎にO(重みの数) しか取らない。BPTTとRTRLの中間の計算量を持つオンラインハイブリッド版や、連続時間版が存在する。
標準的なRNN構造に対する最急降下法の大きな問題は、誤差勾配が重要な事象間の時間差の大きさに伴い指数関数的に急速に消失することである。BPTT/RTRL混成学習手法を組み合わされたLSTMはこれらの問題の克服を試みている。