回帰型ニューラルネットワーク
Copyingタスクは系列処理モデルの記憶力を評価するために「最初に提示された数字の並びを最後に思い出す」タスクである。
モデルにはまず { 1 , . . . , 8 } {\displaystyle \{1,\ ...,\ 8\}} からランダムサンプリングされた10個の入力が連続して渡され(記憶ステップ)、次にL個の 0 {\displaystyle 0} が渡され(保持ステップ)、最後に 9 {\displaystyle 9} が10連続で渡される(想起ステップ)。モデルは最初の10個の数字を覚え、Lステップ続く 0 {\displaystyle 0} の間それを覚えておき、 9 {\displaystyle 9} に応答して最初の10個の数字を順番通り出力しなければならない。下の擬似コードが入力と理想的な出力である。
Copyingタスクは長期のタイムラグを跨いで記憶を保持するタスクであり、長期記憶を直接評価する標準的なタスクである。シンプルながら難しいことが知られており、エルマンネット等の単純RNNはこのタスクを解けず、LSTMもL=100を部分的にしか学習できないことが知られている。
独立回帰型ニューラルネットワーク(Independently recurrent neural network、IndRNN)は、従来の完全結合型RNNにおける勾配消失および爆発問題に対処する。1つの層中の個々のニューロンは(この層中の他の全てのニューロンへの完全な結合の代わりに)文脈情報としてそれ自身の過去状態のみを受け取り、ゆえにニューロンは互いの履歴に独立である。勾配バックプロパゲーションは、長期または短期記憶を保持するため、勾配消失および爆発を避けるために制御することができる。ニューロン間情報は次の層において探索される。IndRNNはReLUといった非飽和非線形関数を使って確実に訓練することができる。スキップコネクションを使うことで、深いネットワークを訓練することができる。
ニューラルヒストリーコンプレッサ(neural history compressor)はRNNの教師なしスタックである。入力レベルにおいて、前の入力から次の入力を予測することを学習する。この階層型構造において一部のRNNの予測不可能な入力のみが次のより高いレベルのRNNへの入力となる。したがって、極めてまれにしかその内部状態は再計算されない。ゆえに、個々のより高位のRNNは下位RNN中の情報の圧縮表現を学ぶ。これは、入力配列がより高レベルにおける表現から正確に再構成できるような方法で行われる。
このシステムは、記述長またはデータの確率の負の対数を効果的に最小化する。入ってくるデータ配列中の多量の学習可能な予測可能性を考えると、最高レベルのRNNは、重要な事象間に長い間隔がある深い配列でさえも容易に分類するために教師あり学習を用いることができる。
ゲート付き回帰型ユニット(GRUs)は2014年に発表された回帰型ニューラルネットワークにおけるゲート機構である。完全な形式やいくつかの単純化された方式で使われている。多声音楽モデリングおよび音声信号モデリングにおけるそれらの性能は長・短期記憶の性能と似ていることが明らかにされた。これらは出力ゲートを持っていないため、LSTMよりもパラメータが少ない。
長・短期記憶(LSTM)は勾配消失問題を回避するディープラーニング(深層学習)システムである。LSTMは通常、「忘却」ゲートと呼ばれる回帰型ゲートによって拡張されている。LSTMは勾配の消失または爆発からの逆伝播誤差を防ぐ。代わりに、誤差は空間方向に展開された無制限の数のバーチャル層を通して逆向きに流れる。すなわち、LSTMは、数千または数百万離れた時間段階前に起こった事象の記憶を必要とする課題を学習できる。問題特化型のLSTM的トポロジーを発展させることができる。。LSTMは重要な事象間に長い遅延が与えられても機能し、低周波数と高周波数成分を混合した信号を扱うことができる。
多くの応用がLSTM RNNのスタックを用いており、訓練セット中のラベル配列の確率を最大化するRNN重み行列を見付けるためにそれらをコネクショニスト時系列分類(CTC)によって訓練している。CTCはアラインメントと認識の両方を達成する。
LSTMは隠れマルコフモデル(HMM)や類似の概念に基づく以前のモデルとは異なり、文脈依存言語を認識することを学習することができる。