回帰型ニューラルネットワーク
このRNN階層を2つのRNN、「意識的」チャンカー(高位)と「無意識的」オートマタイザー(下位)に抜き出すことが可能である。チャンカーがオートマタイザーによって予測不可能な入力の予測と圧縮を学習すると、次にオートマタイザーは次の学習フェーズにおいて追加ユニットを通して、よりゆっくりと変化するチャンカーの隠れ層を予測または模倣することになる。これによってオートマタイザーが、長い間隔を超えて適切な、めったに変化しない記憶を学習することが容易になる。次に、チャンカーが残った予測不可能な事象に注視できるように、これはオートマタイザーが以前は予測不可能だった入力の多くを予測できるものとするのを助ける。
生成モデルは、1992年に自動微分またはバックプロパゲーションの勾配消失問題を部分的に克服した。1993年、こういったシステムは時間方向に展開されたRNN中に1000を超える後続層を必要とする「非常に深い学習」課題を解決した。
h t = σ h ( W h x t + U h h t − 1 + b h ) y t = σ y ( W y h t + b y ) {\displaystyle {\begin{aligned}h_{t}&=\sigma _{h}(W_{h}x_{t}+U_{h}h_{t-1}+b_{h})\\y_{t}&=\sigma _{y}(W_{y}h_{t}+b_{y})\end{aligned}}}
染色体中にコードされた個々の重みはネットワークの個別の重み結合へと割り当てられる。
訓練セットは入力シグナルを前向きに伝播するネットワークへと提示される。
平均二乗誤差が適応度関数に返される。
この関数が遺伝的選択過程を駆動する。
多くの染色体が集団を作り上げる。しあたがって、多くの異なるニューラルネットワークは停止基準が満されるまで進化する。一般的な停止スキームは、
ニューラルネットワークが訓練データの一定のパーセンテージを学習した時、または
平均二乗誤差の最小値が満された時、または
訓練世代の最大値に逹した時
である。停止基準は、訓練中の個々のネットワークからの平均二乗誤差の逆数を得る適応度関数によって評価される。したがって、遺伝的アルゴリズムの目標は適応度関数を最大化する(これによって平均二乗誤差が減少する)ことである。
焼きなまし法または粒子群最適化といった他の大域的(と進化的の両方またはいずれか一方)最適化技法を良い重みのセットを探すために使うことができる。