回帰型ニューラルネットワーク
ニューラルネットワークにおける重みの訓練は、非線形大域的最適化(英語版)問題としてモデル化できる。目的関数は、以下のように特定の重みベクトルの適合度または誤差を評価するために作ることができる。第一に、ネットワークの重みは重みベクトルにしたがって設定される。次に、ネットワークは訓練配列に対して評価される。典型的には、予測値と訓練配列中で指定される目標値との間の差分二乗和が現在の重みベクトルの誤差を表わすために使われる。任意の大域的最適化技法を次に目的関数を最小化するために使うことができる。
RNNを訓練するための最も一般的な大域的最適化手法は遺伝的アルゴリズムである(特に非構造化ネットワークにおいて)。
最初に、遺伝的アルゴリズムは染色体中の1つの遺伝子が1つの重み結合を表わす所定のやり方でニューラルネットワーク重みを使ってエンコードされる。全ネットワークは単一の染色体として表わされる。数適応度関数は以下のように評価される。
連続時間(continuous time)回帰型ニューラルネットワーク(CTRNN)は、入ってくるスパイクの一連の流れのニューロンへの影響をモデル化するために常微分方程式の系を用いる。
活動電位 y i {\displaystyle y_{i}} を持つネットワーク中のニューロン i {\displaystyle i} に対して、活性化の変化率は以下の式で与えられる。
τ i y ̇ i = − y i + ∑ j = 1 n w j i σ ( y j − Θ j ) + I i ( t ) {\displaystyle \tau _{i}{\dot {y}}_{i}=-y_{i}+\sum _{j=1}^{n}w_{ji}\sigma (y_{j}-\Theta _{j})+I_{i}(t)}
上式において、
τ i {\displaystyle \tau _{i}} : シナプス後ノードの時定数
y i {\displaystyle y_{i}} : シナプス後ノードの活性化
y ̇ i {\displaystyle {\dot {y}}_{i}} : シナプス後ノードの活性化の変化率
w j i {\displaystyle w{}_{ji}} : シナプス前ノードからシナプス後ノードへの結合の重み
RNNモデルの性能は様々なタスク・指標を用いて評価される。以下はその一例である。