回帰型ニューラルネットワーク
多重時間スケール(multiple timescales)回帰型ニューラルネットワーク(MTRNN)は、ニューロン間の空間的結合および異なる種類のニューロン活動(個々は異なる時間特性を持つ)に依存した自己組織化を通して脳の機能的階層をシミュレートできるニューラルネットワークに基づいた計算モデルである。こういった変化に富んだ神経活動により、一連の挙動の連続的変化が再使用可能なプリミティブへと分割され、それらは次に多様な逐次的挙動へと柔軟に統合される。こういった種類の階層の生物学的同意は、ジェフ・ホーキンスによる著書『考える脳 考えるコンピューター (英語版)』(2005年)中の脳機能の自己連想記憶理論(英語版)において議論された。
RNNはカオス的に振る舞いうる。こういった場合、力学系理論を分析のために使うことができる。
RNNは実のところ具体的な構造(直鎖構造)を持つ再帰型ニューラルネットワークである。再帰型ニューラルネットワークは、子供表現を親表現へと統合するいかなる階層構造上でも動作するが、回帰型ニューラルネットワークは以前の時間ステップおよび隠れ表現を現在の時間ステップ表現へと統合する直線的時間進行上で動作する。
具体的には、RNNは有限インパルス応答および無限インパルス応答フィルターの非線形版として見ることができ、また非線形自己回帰外因性モデル(英語版)(nonlinear autoregressive exogenous model、NARX)と見ることもできる。
線形回帰(英: linear recurrence)は非線形活性化関数を持たない回帰モジュール・レイヤーである。
RNNを含むニューラルネットワークは定義としては非線形活性化関数を必要としない。しかし実践的にはほぼ必ずシグモイド関数などの非線形変換を導入している。ゆえに状態 h t − 1 {\displaystyle h_{t-1}} が回帰する際、 h t − 1 {\displaystyle h_{t-1}} は非線形変換されたうえで f ( x t , h t − 1 ) {\displaystyle f(x_{t},h_{t-1})} へ回帰していることになる。この系列・時間方向への非線形変換を無くし線形回帰とするモジュール・レイヤーが提案されている。
基本的なRNNは連続する「層」へと編成されたニューロン的ノードのネットワークであり、所定の層中の個々のノードは次の層中の全てのノードと有向(一方向)結合により結合されている。個々のノード(ニューロン)は時間変動する実数値の活性化を有する。個々の結合(シナプス)は変更可能な実数値の重み(英語版)を有する。ノードは(ネットワーク外からデータを受け取る)入力ノード、(結果を得る)出力ノード、(入力から出力への途上でデータを修正する)隠れノードのいずれかである。
離散時間設定における教師あり学習のため、実数値入力ベクトルの配列は入力ノードに到着する(一度に1つのベクトル)。任意の時間ステップにおいて、個々の非入力ユニットはそれに結合した全てのユニットの活性化の加重和の非線形関数としてその現在の活性化(結果)を計算する。ある時間ステップにおける一部の出力ユニットのために教師が与えられた目標活性化を提供することができる。例えば、入力配列が数字音声に対応した音声シグナルであるならば、配列の最後における最終目標出力は数字を分類するラベルとなるだろう。
強化学習のセッティングでは、教師は目標シグナルを与えない。代わりに、適合度関数(英語版)または報酬関数がRNNの性能を評価するために使われることがある。これは環境に影響を与えるアクチュエータに結合された出力ユニットを通してその入力ストリームに影響する。これは、進行が勝ち取った点数によって測定されるゲームをプレーするために使うことができるかもしれない。
個々の配列は、全ての目標シグナルのネットワークによって計算された対応する活性化からのずれの和として誤差を生じる。膨大な配列のセットを訓練では、全誤差は全ての個別の配列の誤差の和である。