(57)【要約】【課題】リカレントニューラルネットワーク（ＲＮＮ：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌｎｅｔｗｏｒｋ）の教師あり教示方法を開示する。【解決手段】本方法の典型的な実施の形態では大型（５０ユニット以上）で、ランダムに初期化され、大域的に安定なダイナミクスを有するＲＮＮを用いる。学習期間中には、このＲＮＮの出力ユニットが所望の出力信号に従うように教師強制される。この期間中に全ての隠れユニットからの活性が記録される。教示期間の終わりには、出力ユニットに繋がるこれらの接続の新たな荷重を計算する方法への入力としてこれらの記録データが使用される。本方法は、ＲＮＮに対する既存の学習方法とは以下の特徴により区別される。即ち、（１）出力ユニットへの接続の荷重のみが学習によって変更される。（２）大型ネットワークの内部ダイナミクスが、変更されるのではなく学習手続きによって新たに組み合わせられるだけであるダイナミクス成分の「リザーバ」として用いられる。【選択図】図１
2004511866.tif 000002
【特許請求の範囲】
【請求項１】
離散時間リカレントニューラルネットワークを構築すると共に、前記ネットワークの出力誤差を最小化するための学習方法であって、
ａ．リカレントニューラルネットワークを励起可能ダイナミクスのリザーバ（ＤＲネットワーク）として構築するステップと、
ｂ．ＤＲネットワークへ入力を供給する手段を設けるステップと、
ｃ．荷重を有する接続を介してＤＲネットワークに出力ユニットを取り付けるステップと、
ｄ．ＤＲネットワークから出力ユニットへの接続の荷重を教師あり学習方式で学習させるステップと
を含むことを特徴とする方法。
【請求項２】
前記ＤＲネットワークが多数（５０よりも大きい）のユニットを備えていることを特徴とする請求項１に記載の方法。
【請求項３】
前記ＤＲネットワークがまばらに接続されていることを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記ＤＲネットワーク内での接続が、ランダムに割り当てられた荷重を有することを特徴とする請求項１乃至３のいずれかに記載の方法。
【請求項５】
異なるＤＲユニットに対して、異なる更新ルール又は異なってパラメータ化された更新ルールが使用されることを特徴とする請求項１乃至４のいずれかに記載の方法。
【請求項６】
空間的構造が連結性パターンを介して前記ＤＲネットワークに刷り込まれることを特徴とする請求項１乃至５のいずれかに記載の方法。
【請求項７】
前記空間的構造が規則的格子であることを特徴とする請求項６に記載の方法。
【請求項８】
前記空間的構造が（連結性行列のバンド化構造又はサブバンド化構造によって誘導された）局所的近傍構造であることを特徴とする請求項６に記載の方法。
【請求項９】
前記空間的構造がモジュラ、又はレベルに組織化されていることを特徴とする請求項６に記載の方法。
【請求項１０】
分離されたＤＲネットワークから得られるダイナミクスが大域的に安定になるように、ＤＲネットワーク内の荷重が大域的にスケーリングされていることを特徴とする請求項１乃至９のいずれかに記載の方法。
【請求項１１】
学習後の最終的ネットワークにおいて長期間の記憶効果を達成するために、分離されたＤＲネットワークから得られるダイナミクスが大域的に安定になるように、ＤＲネットワーク内の荷重が大域的にスケーリングされていることを特徴とする請求項１乃至９のいずれかに記載の方法。
【請求項１２】
追加の入力ユニットを用いることにより前記ＤＲへ入力が供給されることを特徴とする請求項１０又は１１に記載の方法。
【請求項１３】
前記入力ユニットから前記ＤＲへの接続がまばらであることを特徴とする請求項１２に記載の方法。
【請求項１４】
前記入力ユニットから前記ＤＲへの接続の荷重がランダムに固定されていて正負の符号を有することを特徴とする請求項１２又は１３に記載の方法。
【請求項１５】
最終的なネットワークＩ／Ｏ特性において長期間の記憶効果を達成するために、最終的なネットワークＩ／Ｏ特性において遅い又は低域通過時間特性を達成するために、又はほぼ線形のＩ／Ｏ特性を達成するために、前記入力ユニットから前記ＤＲへの接続の荷重が大域的に小さな絶対値にスケーリングされていることを特徴とする請求項１２乃至１４のいずれかに記載の方法。
【請求項１６】
短期間の記憶効果を達成するために、高速なＩ／Ｏ挙動を実現するために、又は最終的な学習したネットワークにおいて高度に非線形な、即ち「スイッチング」特性を達成するために、入力ユニットからＤＲへの接続の荷重が大域的に大きな絶対値にスケーリングされていることを特徴とする請求項１２乃至１４のいずれかに記載の方法。
【請求項１７】
追加の入力ユニット以外の手段を用いて前記ＤＲへ入力を供給することを特徴とする請求項１０又は１１に記載の方法。
【請求項１８】
学習後に受動的な信号処理ネットワークを得るために、前記出力ユニットから前記ＤＲへのフィードバック接続なしに追加の出力ユニットが前記ＤＲに取り付けられていることを特徴とする請求項１乃至１７のいずれかに記載の方法。
【請求項１９】
学習後に能動的な信号処理ネットワーク又は信号発生ネットワークを得るために、前記出力ユニットから前記ＤＲへのフィードバック接続付きで追加の出力ユニットが前記ＤＲに取り付けられていることを特徴とする請求項１乃至１７のいずれかに記載の方法。
【請求項２０】
前記フィードバック接続がまばらであることを特徴とする請求項１９に記載の方法。
【請求項２１】
前記フィードバック接続の荷重がランダムに固定されていて正負の符号を有することを特徴とする請求項１９又は２０に記載の方法。
【請求項２２】
最終的なネットワークＩ／Ｏ特性において長期間の記憶効果を達成するために、最終的なネットワークＩ／Ｏ特性において遅い又は低域通過時間特性を達成するために、又は線形のＩ／Ｏ特性を達成するために、
フィードバック接続の前記荷重が大域的に小さな絶対値にスケーリングされていることを特徴とする請求項１９乃至２１のいずれかに記載の方法。
【請求項２３】
短期間の記憶効果を達成するために、高速なＩ／Ｏ挙動を実現するために、又は最終的な学習したネットワークにおいて高度に非線形な、即ち「スイッチング」特性を達成するために、前記入力ユニットから前記ＤＲへの接続の前記荷重が大域的に大きな絶対値にスケーリングされていることを特徴とする請求項１９乃至２１のいずれかに記載の方法。
【請求項２４】
教師あり教示のオフラインバージョンで前記ネットワークを学習させることを特徴とする請求項１乃至２３のいずれかに記載の方法。
【請求項２５】
学習すべきタスクが信号発生タスクであり、入力が存在せず、教師信号が所望の出力信号のサンプルのみからなることを特徴とする請求項２４に記載の方法。
【請求項２６】
学習すべきタスクが信号処理タスクであり、入力が存在し、教師信号が所望の入力／出力ペアのサンプルからなることを特徴とする請求項２４に記載の方法。
【請求項２７】
出力ノードへの接続の出力誤差最小化荷重が計算されることを特徴とする請求項２４乃至２６のいずれかに記載の方法であって、
ａ．教師信号をネットワークに供給して教示期間中に教師強制モードでネットワークを走らせるステップと、
ｂ．ネットワークの状態と、出力ユニットの伝達関数の逆を教師出力上に写像して得られた信号
【数１】
2004511866.tif 000037
とをメモリに保存するステップと、
ｃ．初期の過渡効果を処理するために初期状態／出力ペアを任意に廃棄するステップと、
ｄ．出力ノードへの接続の荷重を標準的な線形回帰法によって計算するステップと
を含むことを特徴とする方法。
【請求項２８】
ノイズの多い更新ルールを用いることにより及び／又は入力にノイズを加えることにより及び／又は（出力からＤＲへのフィードバック接続が存在する場合に）前記ＤＲにフィードバックする前に教師出力にノイズ成分を加えることにより、学習期間中にネットワークダイナミクスにノイズを挿入することを特徴とする請求項２４乃至２７のいずれかに記載の方法。
【請求項２９】
前記ネットワークユニットのサブセット（即ち、入力ユニット，ＤＲユニット，出力ユニットのサブセット）から前記出力ユニットへの接続のみの荷重が学習され、その他はゼロに設定されることを特徴とする請求項２４乃至２８のいずれかに記載の方法。
【請求項３０】
教師あり教示のオンラインバージョンで前記ネットワークを学習させることを特徴とする請求項１乃至２３のいずれかに記載の方法。
【請求項３１】
学習すべきタスクが信号発生タスクであり、入力が存在せず、教師信号が所望の出力信号のサンプルのみからなることを特徴とする請求項３０に記載の方法。
【請求項３２】
学習すべきタスクが信号処理タスクであり、入力が存在し、教師信号が所望の入力／出力ペアのサンプルからなることを特徴とする請求項３０に記載の方法。
【請求項３３】
請求項３０乃至３２のいずれかに記載の方法であって、前記出力ノードへの接続の出力誤差最小化荷重が各時間ステップにおいて更新され、前記更新が、
ａ．前記ネットワークへ入力を供給して前記ネットワークを更新するサブステップと、
ｂ．各出力ユニットに対して、所望の教師出力と実際のネットワーク出力との間の差としての誤差（出力値誤差）を計算するか、又はそれに代えて、出力ユニットの伝達関数の逆を教師出力上に写像して得た値
【数２】
2004511866.tif 000038
と、出力ユニットの伝達関数の逆を実際の出力上に写像して得た値との間の差としての誤差（出力状態誤差）を計算するサブステップと、
ｃ．前記サブステップｂ．で計算した誤差を最小化するあめの標準的な方法によって前記出力ノードへの接続の荷重を更新するサブステップと、
ｄ．信号発生タスク又は能動的信号処理タスクの場合に、教師出力を前記出力ユニットに強制的に与えるサブステップと
を含むことを特徴とする方法。
【請求項３４】
ノイズの多い更新ルールを用いることにより、又は（フィードバック接続が存在する場合に任意に）前記ＤＲにフィードバックする前に教師出力にノイズ成分を加えることにより、ネットワークダイナミクスにノイズを挿入することを特徴とする請求項３０乃至３３のいずれかに記載の方法。
【請求項３５】
前記ネットワークユニットのサブセット（即ち、入力ユニット，ＤＲユニット，出力ユニットのサブセット）から出力ユニットへの接続のみの荷重が学習され、その他はゼロに設定されることを特徴とする請求項３０乃至３４のいずれかに記載の方法。
【請求項３６】
前記ＤＲへの接続を有する２以上の出力ユニットに関して前記ネットワークが学習され、利用段階では、学習したユニットのいくつかを入力ユニットとして扱い、残りを出力ユニットとして扱うことにより、何らかの選択された「方向」で利用される（これによって、信号間のダイナミクス関係の学習が実現される）ことを特徴とする請求項１乃至３５のいずれかに記載の方法。
【請求項３７】
多次元ダイナミクスパターンの再構成記憶のタスクに適用され、
ａ．パターンの完全次元サンプルからなる教師信号で前記ネットワークを学習するステップと、
ｂ．利用段階では、次元のいくつかにおいてのみ不完全に与えられるキューパターンをこれらの次元における入力として供給し、残りのユニット上の完結されたダイナミクスパターンを読み出すステップと
を含むことを特徴とする請求項３６に記載の方法。
【請求項３８】
プラントの閉ループ（状態又は観測フィードバック）追跡制御のタスクに適用されることを特徴とする請求項１乃至３５のいずれかに記載の方法であって、
ａ．前記ネットワークへの２種類の入力信号、即ち（ｉ）利用段階で基準信号として機能する変数の未来バージョン、及び（ｉｉ）プラント出力観測（又はプラント状態観測）からなり、更に所望のネットワーク出力信号、即ち（ｉｉｉ）プラント制御入力からなる学習サンプルを用いるステップと、
ｂ．現在のプラント出力観測（即ち（ｉｉ））及び基準変数の未来バージョン（即ち（ｉ））に応じてプラント制御入力（即ち（ｉｉｉ））をネットワーク出力として計算するネットワークを得るために、教師入力及びステップａ．からの出力信号を用いてネットワークを学習するステップと、
ｃ．（ｉ）未来基準信号及び（ｉｉ）現在のプラント出力観測（又はプラント状態観測）という入力を供給することにより前記ネットワークを閉ループコントローラとして利用し、前記ネットワークに現在のプラント制御入力を発生させるステップと
を含むことを特徴とする方法。
【請求項３９】
前記請求項のいずれかによって構築され、学習したことを特徴とするニューラルネットワーク。
【請求項４０】
マイクロ回路として実現されたことを特徴とする請求項３９に記載のニューラルネットワーク。
【請求項４１】
適切にプログラムされたコンピュータによって実現されたことを特徴とする請求項３９に記載のニューラルネットワーク。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、リカレントニューラルネットワークの教師あり教示の分野に関する。
【０００２】
【従来の技術】
人工ニューラルネットワーク（ＡＮＮ：Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）は、今日では、複雑な非線形システムに対する信号処理，制御，予測，及びデータモデリングのための確立された方法を数多く提供している。ＡＮＮを記述するための述語はかなり標準化されている。しかしここで、基本概念及び述語を簡単に説明しておく。
【０００３】
典型的なＡＮＮは有限数Ｋのユニットからなり、これらは離散時間ｔ（ここで、ｔ＝１，２，３…）において活性ｘｉ （ｔ） （ｉ＝１，…，Ｋ）を有する。これらのユニットは、典型的には実数が割り当てられている荷重ｗｊｉ（ここで、ｉ，ｊ＝１，…，Ｋであり、ｗｊｉはｉ番目からｊ番目のユニットへの接続の荷重）を有する接続によって相互にリンクされている。荷重ｗｊｉ＝０は、ｉ番目からｊ番目のユニットへの接続が無いことを示す。接続荷重を接続行列Ｗ＝（ｗｊｉ）ｊ，ｉ＝１，．．．，Ｋ に集めておくと便利である。時刻ｔ＋１におけるｊ番目のユニットの活性は、時刻ｔにおける全てのネットワークユニットの活性から、
ｘｊ （ｔ＋１）＝ｆｊ （Σｉ＝１，．．．，Ｋ ｗｊｉｘｉ （ｔ））， Ｋ ｓｔａｔｔ Ｎ 　…（１）
によって導かれる。ここで、伝達関数ｆｉ は典型的にはシグモイド型関数である（線形又はステップ関数もまた一般的である）。大多数の用途では、全てのユニットが同一の伝達関数を有する。活性にノイズを加えることが有用な場合もある。その場合には、（１）式は
ｘｊ （ｔ＋１）＝ｆｊ （Σｉ＝１，．．．，Ｋ ｗｊｉｘｉ （ｔ））＋ｖ（ｔ）， Ｋ ｓｔａｔｔ Ｎ…（１’）
となり、ここで、ｖ（ｔ） は付加的ノイズ項である。
【０００４】
いくつかのユニットは出力ユニットとして指定されており、それらの活性はＡＮＮの出力と見なされる。別のいくつかのユニットは入力ユニットとして割り当てられており、それらの活性ｘｉ （ｔ） は（１）式から計算されるのではなく、外部から与えられる入力ｕｉ （ｔ） 、即ち、入力ユニットの場合の
ｘｉ （ｔ） ＝ｕｉ （ｔ） 　…（２）
に設定される。
【０００５】
ＡＮＮの最も実際的な応用例では、活性パターンが入力層から隠れ層を通じて出力層へ伝播するフィードフォワードネットワークを使用する。フィードフォワードネットワークの特徴的な性質は、接続サイクルが無いことである。形式理論では、フィードフォワードネットワークは入力−出力関数を表している。所与の機能を有するフィードフォワードネットワークを構築する典型的な方法は、学習サンプルを用いてネットワークに学習させること、即ち、ネットワークにいくつかの正しい入力−出力ペアを供給し、これによってネットワークに、学習サンプルを近似的に反復し、学習サンプルに存在しないその他の入力に対して般化することを学習させること、である。正しい学習サンプルを用いることを教師あり学習と称する。フィードフォワードネットワークに対する教師あり教示法で最も広汎に利用されているものは、ネットワーク荷重に対する勾配降下法によって学習サンプルの二乗出力誤差を漸次的に減少させるバックプロパゲーションアルゴリズムである。この勾配を計算する効率的な方法が利用可能になったことでこの分野に革新が起こったのであり、現在では、パターン分類，制御工学，及び信号処理の領域での確立し成熟した分野となっている。
【０００６】
フィードフォワードネットワークの一つの特別なバリエーションである放射基底関数ネットワーク（ＲＢＦ ｎｅｔｗｏｒｋ：ｒａｄｉａｌ ｂａｓｉｓ ｆｕｎｃｔｉｏｎ ｎｅｔｗｏｒｋ）は、バックプロパゲーションよりも簡単で高速な教師あり学習法で使用することができる。（ＲＢＦネットワークに関する入門的解説としては、非特許文献１に所収のＤ．Ｌｏｗｅによる「放射基底関数ネットワーク（Ｒａｄｉａｌ ｂａｓｉｓ ｆｕｎｃｔｉｏｎ ｎｅｔｗｏｒｋｓ） 」に関する論文がある。）典型的なＲＢＦネットワークは、（１）式とは全く異なる方法で計算される活性を有する隠れ層を備えている。即ち、ｊ番目の隠れユニットの活性は、ある基準ベクトルｖｊ から入力ベクトルｕまでの間の距離の関数
【０００７】
【数３】
2004511866.tif 000003
【０００８】
である。出力ユニットの活性は（１）式の規定に従うが、通常は線形変換関数を用いる。教示の過程では隠れ層に対する活性化機構は変化しない。学習に際しては、隠れから出力への接続の荷重のみが変化すればよい。これにより、学習タスクは、バックプロパゲーションの場合よりもずっと簡単になる。つまり、オフラインで（学習サンプルを供給した後に）線形回帰法を用いて荷重を決定することができる。又は、たとえば最小平均二乗（ＬＭＳ：ｌｅａｓｔ ｍｅａｎ ｓｑｕａｒｅ）法のなんらかの変形等の平均二乗誤差最小化の変形を用いてオンラインで荷重を決定することができる。
【０００９】
【非特許文献１】
Ｍ・エー・アルビブ（Ｍ．Ａ．Ａｒｂｉｂ）編集，「頭脳理論及びニューラルネットワークのハンドブック（Ｈａｎｄｂｏｏｋ ｏｆ Ｂｒａｉｎ Ｔｈｅｏｒｙ ａｎｄ Ｎｅｔｗｏｒｋｓ）」，（米国），エムアイティー・プレス（ＭＩＴ Ｐｒｅｓｓ）， １９９５年，ｐ．７７９ − ７８２
【非特許文献２】
エー・エフ・アティア（Ａ．Ｆ．Ａｔｉｙａ） 及びエー・ジー・パルロス（Ａ．Ｇ．Ｐａｒｌｏｓ）著，「リカレントネットワーク学習に関する新たな結果：アルゴリズムの統合及び収束の加速（Ｎｅｗ Ｒｅｓｕｌｔｓ ｏｎ Ｒｅｃｕｒｒｅｎｔ Ｎｅｔｗｏｒｋ Ｔｒａｉｎｉｎｇ：Ｕｎｉｆｙｉｎｇ ｔｈｅ Ａｌｇｏｒｉｔｈｍｓ ａｎｄ Ａｃｃｅｌｅｒａｔｉｎｇ Ｃｏｎｖｅｒｇｅｎｃｅ） 」，ＩＥＥＥ紀要，第１１巻，第３冊，２０００年，ｐ．６９７ − ７０９
【非特許文献３】
ビー・ファルハング−ボロウジェニー（Ｂ．Ｆａｒｈａｎｇ−Ｂｏｒｏｕｊｅｎｙ）著，「適応的フィルタ：理論と応用（Ａｄａｐｔｉｖｅ Ｆｉｌｔｅｒｓ：Ｔｈｅｏｒｙ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ） 」，ウィリー・アンド・サンズ（Ｗｉｌｅｙ ＆ Ｓｏｎｓ），１９９９， ｐ．４２３
【００１０】
【発明が解決しようとする課題】
接続に循環経路を許した場合、リカレントニューラルネットワーク（ＲＮＮ）が得られる。ＲＮＮの特質は、時間的に持続する自己励起活性をサポートすることが可能であり、時間入力をメモリの影響下で処理することができることである。形式の観点からは、ＲＮＮは、（関数を実現するフィードフォワードネットワークとは異なり）非線形ダイナミクスのシステムを実現する。工学の観点からは、ＲＮＮはメモリを備えたシステムである。所望の入力−出力ダイナミクスを実行するＲＮＮを構築することは工学的応用にとって非常に有用であろう。しかし、ＲＮＮのそのような応用は現状では稀である。この稀である主な理由はＲＮＮの教示が困難であることである。教師ありＲＮＮ学習の技術の現状は、バックプロパゲーションスルータイム（ＢＰＴＴ：ｂａｃｋｐｒｏｐａｇａｔｉｏｎ ｔｈｒｏｕｇｈ ｔｉｍｅ）法のいくつかの変形例により注目されている。最近の概要は、非特許文献２に提示されている。ＢＰＴＴの背景をなす考え方は、時間的なリカレントネットワークを、それ自身と同一のコピーのカスケードへと展開することである。その際、リカレント接続は（同一のネットワーク内に戻るのではなく）ネットワークの１つのコピーから次のコピーへと繋がるように再配置される。この「展開された」ネットワークは、技術的にはフィードフォワードネットワークであり、フィードフォワードネットワーク用教示方法の適切な変形によって教示することができる。ＲＮＮに学習させるこの方法では標準的なバックプロパゲーションのインタラクティブで傾斜降下的な性質が受継がれており、この「展開」の方式で用いるコピーの数だけ固有のコストが倍数される。収束は、制御することは困難であり、多くの場合には遅く、また１回の反復に多くのコストが必要である。計算コストが原因となって、比較的小さなネットワークにのみ学習させることが可能である。もう１つの難点は、バックプロパゲーションされた勾配推定の精度が急速に劣化する（ゼロ又は無限大となる）ことにより、ほぼ１０時間ステップよりも長い時間スパンでの記憶効果の学習が妨げられることである。これらの難点やその他の難点から、ＲＮＮはこれまでのところ広く利用されるには到っていない。
【００１１】
【課題を解決するための手段】
本発明は、請求項１の方法及び請求項３９のネットワークによって規定される。本発明の個々の実施の形態は従属請求項に規定されている。
【００１２】
本発明は、ＲＮＮの教師あり教示の新たな方法を提供する。本方法の背景をなす考え方は、既存のＢＰＴＴアプローチとは全く異なっている。後者は、ネットワーク内の全ての荷重を調節することによって学習目的を達成しようとし、これによって、各ユニットが所望の全体的挙動に最大限の寄与をするような最小サイズのネットワークを構成する。このことは、特定のタスクを実行する小型のネットワークを導く。これに対して、本発明で開示される方法は、内部荷重（即ち、隠れから隠れへの接続，入力から隠れへの接続，又は出力から隠れへの接続の荷重）が全く変更されない大型のリカレントネットワークを利用する。直感的には、この大型で変更されないネットワークは、隠れユニットと同数の多数の異なる非線形ダイナミクスの豊富な「ダイナミカルリザーバ」として利用される。このリザーバネットワークに対する別の観点は、これを超完備（ｏｖｅｒｃｏｍｐｌｅｔｅ）基底と見ることである。教示過程では隠れから出力への接続のみの荷重が調節される。この調節によって、所望の学習目的を実現する方法において、「リザーバ」のダイナミカルパターンから抽出して再結合するフィルタ機能を隠れから出力への接続が獲得する。
【００１３】
新たな出力ユニットを追加し、各タスクごとにそれぞれの隠れから出力への荷重を個別に学習させることにより、「リザーバ」ネットワークの一例を多数のタスクに再利用することができる。学習後には、大型の「リザーバ」ネットワークの同一の例を用いて、任意に多数のそのようなタスクが並列に実行することができる。従って、本発明に従って構成され学習したＲＮＮを使用する場合の全体コストは、同一の入力データに対して多くの異なるタスクを実行しなければならない場合に比して大きく削減される。このことは、いくつかの異なるフィルタによって信号を処理する場合に生じる。
【００１４】
本発明の方法で学習したＲＮＮの時間記憶の長さは既存の方法よりも優れている。たとえば、約 １００時間ステップの「短期間記憶」は ４００ユニットのネットワークで容易に実現することができる。この例は本明細書（「例」の節）で後述する。
【００１５】
本発明は、（ａ）アーキテクチャ的（ＲＮＮの構造、その構成及び初期化）及び（ｂ）手続き的（教示方法）の２つのアスペクトを有する。両アスペクトは独立している。
【００１６】
「ダイナミカルリザーバ（ＤＲ：ｄｙｎａｍｉｃａｌ ｒｅｓｅｒｖｏｉｒ）」
本発明のアーキテクチャ的アスペクトによれば、固定されていて、以降の学習で変更されない荷重を有するリカレントニューラルネットワークが提供される。このＲＮＮの機能は、このネットワークのユニットのダイナミクスとして実現される多数の異なるダイナミクス的性質の「リザーバ」として動作することである。以下では、このＲＮＮをダイナミカルリザーバと称し、ＤＲと略記する。
【００１７】
好ましくは、ＤＲは大型であり、５０以上（上限はない）の程度のユニットを備えている。
【００１８】
好ましくは、ＤＲの自発的ダイナミクス（ゼロ入力状態）は大域的に安定である。即ち、このＤＲは如何なる開始状態からでも唯一の安定状態に収束する。
【００１９】
処理データが空間的構造を有する用途においては（たとえば、ビデオ画像）、ＤＲの接続トポロジーも空間的構造を有してよい。
【００２０】
「入力供給」
本発明の別のアーキテクチャ的アスペクトによれば、入力によってＤＲが誘導されて豊富な励起ダイナミクスを発揮するような方法で、時刻ｔ（ｔ＝１，２，３…）におけるｎ次元入力ｕ（ｔ） がＤＲに供給される。
【００２１】
入力を管理する方法が特定のものであるかは、本発明の方法にとって問題ではない。ＲＮＮの分野で従来使用されているいくつかの可能な方法を以下に簡単に説明する。
【００２２】
好ましくは、追加された入力ユニットを用いて入力がＤＲに供給される。これらの入力ユニットの活性は（２）式に従って入力ｕ（ｔ） に設定される。入力が時空的性質を有する場合には（たとえば、ビデオ画像列）、入力ユニットが特定の空間的様式で配置され（「入力網膜」）、トポロジー保存的な方法でＤＲに接続されてもよい。入力からＤＲユニットへの荷重を決定する方法の詳細は「好適な実施の形態の詳細な説明」の節で説明する。
【００２３】
代替として、入力値を、空間的構造化を行なって又は行なわずに、付加的要素としてＤＲのユニットの活性に直接供給してもよい。
【００２４】
代替として、ＤＲに供給する前に入力値を符号化してもよい。たとえば、数値の空間的符号化を採用してもよい。
【００２５】
「出力読み出し」
本発明の別のアーキテクチャ的アスペクトによれば、ｍ個（ここで、ｍ≧１）の出力ユニットの活性から読み出すことによって、時刻ｔにおけるｍ次元出力ｙ（ｔ） がＤＲから得られる。出力ユニットの活性をｙ１ （ｔ），…，ｙｍ （ｔ） と表すことにする。
【００２６】
本発明の好適な実施の形態では、これらの出力ユニットは追加のユニットとしてＤＲに取り付けられている。その場合には（つまり、追加の出力ユニットの場合には）、出力からＤＲへの、出力ユニットの活性をＤＲネットワークにフィードバックする接続を備えていてもよい。ネットワークを信号処理（パターン分類、又はフィルタ処理等）用の受動的装置として用いる場合には、典型的には、このようなフィードバックは設けられない。典型的には、ネットワークを能動的信号発生装置として用いる場合にフィードバック接続が設けられる。フィードバック荷重を決定する方法の詳細は「好適な実施の形態の詳細な説明」の節で説明する。
【００２７】
本発明の別のアーキテクチャ的アスペクトによれば、ｍ個の出力ｙ１ （ｔ），…，ｙｍ （ｔ） に対する活性更新方法は、伝達関数ｆ１ ，…，ｆｍ を有する（１）式の形で与えられる。出力ユニットの伝達関数ｆｊ は、典型的には、シグモイド又は線形関数として選択される。
【００２８】
図１は、追加の入力ユニット及び出力ユニットを有する本発明の好適な実施の形態の概要を示す。この図では、ＤＲ［１］が、入力からＤＲへの接続［４］を介して入力をＤＲに供給する追加の入力ユニット［２］を用いることにより、入力を受取っている。出力は、図１の例では出力からＤＲへのフィードバック接続［７］を有する追加の出力ユニット［３］を用いることにより、ネットワークから読み出される。入力からＤＲへの接続［４］及び出力からＤＲへのフィードバック接続［７］は固定されており、学習によっても変更されない。最後に、ＤＲから出力への接続［５］と、（あってもよいが必須ではない）入力から出力への接続［６］とが存在している。これらの接続［５］及び［６］の荷重は学習中に調節される。
【００２９】
次に、本発明の手続き的アスペクト（教示方法）を説明する。ＲＮＮに対する教師あり教示方法の全てに関しては、学習列が所与であると仮定する。学習列は２つの時系列ｕ（ｔ） 及び
【００３０】
【数４】
2004511866.tif 000004
【００３１】
からなり、ｔ＝１，２，…，Ｎである。オンライン学習の場合には学習開始時にＮが決定されている必要がなく、従って、この学習手続きは結果未定の適応過程であると暗黙裏に了解される。ｕ（ｔ） はｎ次元入力ベクトル（ここで、ｎ≧１、従って入力が無いｎ＝０の場合も可能）であり、
【００３２】
【数５】
2004511866.tif 000005
【００３３】
はｍ次元出力ベクトル（ここで、ｍ≧１）である。この２つの時系列ｕ（ｔ） 及び
【００３４】
【数６】
2004511866.tif 000006
【００３５】
が、所望され学習されるべき入力から出力への挙動を表す。特別な場合には、入力列ｕ（ｔ） が存在しなくてもよく、その場合には、学習タスクは純粋に生成的なダイナミクスを学習することである。
【００３６】
ｔ＝１，２，…，Ｎに対する学習列ｕ（ｔ） 及び
【００３７】
【数７】
2004511866.tif 000007
【００３８】
がネットワークに供給される。各時間ステップにおいて（たとえば（１）式のような選択した更新ルールに従って）ＤＲが更新され、出力ユニットの活性が教師信号
【００３９】
【数８】
2004511866.tif 000008
【００４０】
に設定される（教師強制）。
【００４１】
本発明のこの方法は、オフライン学習及びオンライン学習に適用することができる。
オフライン学習では、非出力ユニットの活性ベクトルｘ（ｔ） 及び教師信号
【００４２】
【数９】
2004511866.tif 000009
【００４３】
の両方がｔ＝１，２，…，Ｎに関して収集される。これらのデータから時刻Ｎにおいて、学習列データ全体に渡る各出力ユニットｊ＝１，２，…，ｍの平均二乗誤差
【００４４】
【数１０】
2004511866.tif 000010
【００４５】
が最小化されるように、出力ユニットへの接続に対する荷重ｗｊｉが計算される。
（４）式では、＜ｗｊ ，ｘ（ｔ） ＞は内積
ｗｊ１ｕ１（ｔ）＋…＋ｗｊｎｕｎ （ｔ） ＋ｗｊ，ｎ＋１ ｘ１（ｔ）＋…＋ｗｊ，ｎ＋Ｋ ｘＫ （ｔ）
＋ｗｊ，ｎ＋Ｋ＋１ ｙ１（ｔ）＋…＋ｗｊ，ｎ＋Ｋ＋ｍ ｙｍ （ｔ） …（５）
を表し、追加の入力ユニットがある場合には、この形の＜ｗｊ ，ｘ（ｔ） ＞は所与である。（４）式を最小化する荷重の計算は線形回帰の標準的な問題であり、この問題に対するよく知られている解法のいずれかによって実行することができる。詳細は「好適な実施の形態の詳細な説明」の節で説明する。
【００４６】
荷重ｗｊｉが本発明の方法の手続き部分の最終結果である。出力ユニットに供給する接続にこれらの荷重を設定した後に、ネットワークが利用することができる。
【００４７】
本発明のオンライン学習への変形では、荷重ｗｊ が漸次的に適応される。より正確に言えば、ｊ＝１，…，ｍに対して、各時刻ｔ０ ＝１，２，…，Ｎにおいて、ｔ０ までの平均二乗誤差
【００４８】
【数１１】
2004511866.tif 000011
【００４９】
を適応的かつ漸次的に最小化する多数のよく知られている方法のいずれかを適切に適用することによって荷重ｗｊ （ｔ） が更新される。
【００５０】
この種の誤差を最小化する適応的方法は、「再帰的最小二乗」（ＲＬＳ：ｒｅｃｕｒｓｉｖｅ ｌｅａｓｔ ｓｑｕａｒｅｓ）法と総称されている。または、統計的な観点から、統計的期待二乗誤差
【００５１】
【数１２】
2004511866.tif 000012
【００５２】
を最小化することもできる。ここで、右辺のＥは統計的期待値を表す。（４ｂ）式を最小化する適応的方法は確率的勾配降下法であり、その内には、ニュートン法、または全てのＭＳＥ最小化法の内で最も一般的なＬＭＳ法等、多数の方法がある。しかし、ＬＭＳ法は本発明の方法と共に使用するには理想的に適している訳ではない。詳細は「好適な実施の形態の詳細な説明」の節で説明する。
【００５３】
【発明の実施の形態】
図１を除いて、添付図面には以下に説明する例を示してある。例の説明の際にこれらを詳細に参照する。
【００５４】
「いくつかの例の説明」
以降の各節で本発明を詳細に説明する前に、本発明をいくつかの例示的な実施の形態によって示しておくことが有用であろう。これらの例は本発明の様々な基本概念を強調するように選んである。
【００５５】
「例１：本発明のいくつかの基本的アスペクトを例示する単純な例」
本例では、本発明の基本的アスペクトを単純な例で示す。タスクは、ＲＮＮに対して正弦波信号を発生することを学習させることである。このタスクはほとんど自明であるので、ＤＲのサイズは僅かに２０ユニットが選択された（より興味のあるタスクではネットワークサイズを著しく大きくしなければならない）。
【００５６】
まず、ネットワークアーキテクチャがどのようにして構成されるかを示す。接続度２０％、即ち、平均として各ユニットが４個の別のユニット（自身への接続も可）への接続を有する状態、で２０ユニットがランダムに接続された。接続荷重はランダムに ０．５又は−０．５ に設定された。
【００５７】
このネットワークを自由に走らせた。図２ａには漸近活性状態にある任意に選択した８個のユニットのトレースを示す。全てのＤＲユニットが低振幅振動状態にあることが判る。
【００５８】
本発明のアーキテクチャ的アスペクトによれば、ＤＲの自律的自己励起は望ましくない。このＤＲの自律的ダイナミクスは大域的に安定であること、即ち、任意の初期開始状態から全てがゼロとなる安定状態に収束すること、が必要である。従って、荷重を各因子で０．９８だけ減少させた。即ち、それまでは ０．５であった荷重を０．４９にした。図２ｂには、このネットワークをランダムな初期状態から開始させた際の最初の ２００ステップで得られた ２００ステップのトレースを示す。この新たな荷重によってネットワークのダイナミクスが大域的に安定となること、即ち、全てがゼロ活性となる状態に漸近することが判る。
【００５９】
荷重を僅かに増加させることによってダイナミクスが不安定になる（この場合には荷重の絶対値を０．４９から０．５ に増加させることによって振動が発生する）という意味において、この大域安定性は限界的なものに過ぎない。この意味での限界的大域安定性は、多くの場合に、本発明によるＤＲの構成として望ましい条件である。
【００６０】
次にＤＲの応答特性が調べられた。このために追加の入力ユニットが取り付けられた。これはＤＲに完全に接続された。即ち、入力ユニットからＤＲの２０ユニットの各々へ接続が確立され、接続荷重は、区間［−２，２］からランダムに採られた値に設定された。図２ｃは時刻ｔ＝１０に与えられた単位インパルス信号に対するネットワークの応答を示す。図２ｃの最初の７つのグラフは任意に選択されたＤＲユニットの活性トレースを示す。最後のグラフは入力信号を示す。ＤＲユニットが多様で豊富な応答ダイナミクスを示していることが判る。これが、本発明によるＤＲの構成として望ましい条件である。
【００６１】
次に、正弦入力に対するＤＲネットワークの応答特性が調べられた。図２ｃと同様に、図２ｄは７個のＤＲユニットの漸近応答と入力信号とを示す。この図からも、ＤＲユニットが多様で豊富な応答を示していることが判る。
【００６２】
最後に、以前に入力として与えられたものと同じ正弦信号を発生するようにネットワークを学習させた。以前に入力ユニットとして使用した追加ユニットはＤＲへの接続に関しては変更されなかったが、今回は出力ユニットとして使用された。全てゼロ活性である状態から開始し、ネットワークを先ず教師強制付きで １００ステップだけ走らせて初期の過渡現象を落着かせた。次いで、教師強制付きで更に ５００ステップだけ走らせた。２０個のＤＲユニットの活性値がこの ５００ステップの期間について記録された。時刻ｔ＝６００ に、ＤＲから出力ユニットへの荷重のオフライン学習が行なわれた。即ち、ＤＲの状態に対する所望の出力値の線形回帰の解としてＤＲから出力への荷重が計算され、（４）式の平均二乗誤差を最小化した。その後、教師強制を停止してネットワークを更に１０，０００ステップだけ自由に走らせた。その後の５０ステップ分のグラフを図２ｅに示す。この８つのグラフは出力ユニットの活性を示している。当然ながら、図２ｅは図２ｄと実質的に同一である。図２ｆは教師（ネットワークには知られていない）信号付きの出力の重ね合わせを示す。ここで、教師信号＝実線であり、ネットワーク出力＝破線である。グラフの分解能の範囲では破線は実線と同一である。実際に、この（簡単な）学習タスクにおいては平均二乗誤差（４）の数値は１．０３×１０−１３ であった。
【００６３】
「例２：短時間記憶」
本例では、本発明の方法を用いて、入力の遅延バージョンを発生することをＲＮＮに学習させる方法を説明する。
【００６４】
ネットワークを図１のように構成した。ＤＲのサイズは １００ユニットとした。接続度５％でランダムに接続された。非ゼロ荷重は、等確率で＋０．４５又は−０．４５に設定された。これにより、ＤＲの大域的に安定なダイナミクスが得られた（この場合も限界的安定性であり、荷重の絶対値を．４７５に増加させると大域的安定性が損なわれるであろう）。単位インパルスに対するＤＲユニットのインパルス応答は例１（図２ｃ参照）と定性的に同等であったので、図示を省略する。
【００６５】
ＤＲの全てのユニットに接続することにより、１個の入力ユニットがＤＲに取り付けられた。これらの接続の荷重は、等確率でランダムに．００１又は−．００１に設定された。
【００６６】
更に、出力からＤＲへのフィードバック接続を有しない３個の追加の出力ユニットが設けられた。
【００６７】
学習タスクは、１０，２０，４０時間ステップの遅れを伴って入力信号が出力ノードで反復されるようにされた。使用した入力信号は、本質的に、バンド化された非定常の周波数スペクトルを有するランダムウォークであった。図３ａは、入力の５０ステップの列（実線）と、１０だけの遅れを有する正しい遅延信号（教師信号）（破線）とを示す。
【００６８】
ネットワークの状態はランダムに初期化された。そして、 ７００更新ステップだけ入力がネットワークに供給された。初期の過渡効果を避けるために最初の ２００更新ステップのデータは廃棄された。残りの ５００更新ステップのデータが収集され、本発明の学習方法のオフライン実施の形態に用いられた。結果として、ＤＲ及び入力ユニットから出力ユニットへの接続の荷重が得られた。引続いてネットワークを、学習した荷重を用いて更に １５０更新ステップだけ走らせた。この最後の５０更新ステップの入力及び出力を図３ｂに示す。この３つのグラフは、正しい遅延信号（実線）に、学習したネットワークから発生された出力（破線）を重ねたものを示している。４０時間ステップもの期間に渡って信号を遅延させることをネットワークが学習できたことが明らかになった。
【００６９】
学習したネットワークの出力の精度を定量するために、この３個の出力ユニットの各々の平均二乗誤差がサンプル列から計算された。結果は、１０，２０，４０の遅延に対して、それぞれ０．００１２，０．００１３，０．００２７であった。
【００７０】
注記。この学習タスクの挑戦は、ネットワークが時間メモリとして機能する必要があることである。この目標は、学習用のネットワークの構成の２つのアスペクトによって達成される。第１に、小さなマージンによってのみ大域的に安定となるようにＤＲの自律的ダイナミクスが調整された。これによって、入力の動的な後効果がゆっくりと減衰し、時間メモリの深さを拡大する効果がある。第２に、入力からＤＲへの接続が非常に小さな荷重を有していた。これによって、ＤＲネットワーク内で進行中の（記憶として機能する）活性が僅かに修正されるのみとなり、入ってくる入力によって記憶に関連する「影響（ｒｅｐｅｒｃｕｓｓｉｏｎ）」の分布が大きくなり過ぎないようになる効果がある。
【００７１】
「例３：励起可能媒体の学習」
本例では、本発明の方法を用いて、２次元ネットワークが励起可能媒体のダイナミクスをサポートするように学習する方法を説明する。
【００７２】
ネットワークを図４ａ及び図４ｂのように構成した。これは、 １００ユニットの２つの層からなっており、各層は１０×１０の格子状に配置された。境界条件の処理を避けるために、格子をトーラス状としてトポロジー的に閉じさせた。第１の層がＤＲとして使用され、第２の層が出力層として使用された。
【００７３】
局所連結度パターンは以下のようにして設けられた。第１の層の各ユニットが、この層内で局所的に取囲んでいるユニットからの接続を受けた（図４ａ）。図４ｃに示すように、ユニット間の距離ｒ１に応じて荷重が設定された。得られた内部ＤＲダイナミクスを図４ｄに示す。この図には、時間ステップ１０において第１のユニットに供給された単位インパルスに対する、任意に選択した第１の層の８個のユニットの応答が示されている。ＤＲダイナミクスが減衰すること、即ち大域的に安定であること、が判る。
【００７４】
第１の層の各ユニットは、半径ｒ２の局所近傍に存在する出力ユニットからの接続を更に受けた。距離ｒ２に対する荷重の依存性を図４ｅに示す。
【００７５】
ＤＲから特定の出力ユニットへの全ての可能な接続の内で、格子距離ｒ３が４以下（図４ｂ）のものだけが学習を必要とした。学習の目標はこれらのＤＲから出力への接続の荷重を得ることであった。
【００７６】
この学習タスクには入力は含まれていなかった。
【００７７】
教示信号は、出力層に対する教師強制である「ソリトン」波を構成していた。ソリトンは、一定の速度及び方向でトーラス上をゆっくりと動いた。図４ｆは教師信号の４つの連続した時間ステップを示す。最初の図におけるトーラストポロジーの効果に注意されたい。
【００７８】
教示は以下のように行なわれた。ＤＲネットワークの状態は全てゼロの状態に初期化された。次いで、ネットワークを６０時間ステップだけ走らせた。シグモイド伝達関数ｆ＝ｔａｎｈを用いて（１）式に従ってＤＲユニットが更新された。出力ユニットは教師強制によって更新された。即ち、図４ｆに示した教師信号が出力ユニットに書き込まれた。最初の３０時間ステップのデータは廃棄され、残りの３０時間ステップからデータが収集されて本発明の学習方法のオフライン実施の形態に使用された。結果として、ＤＲユニットから出力ユニットへの接続の荷重が得られた。この学習タスクの特殊性は、教示の結果が空間的に均質にならなければならないこと、即ち、全ての出力ユニットが同じ荷重のセットを備えなければならないことである。これによって、 １００出力ユニットの全てから得られたデータが本発明の学習方法のために共用することができる。即ち、実効的には、ネットワークの状態と所望の出力との １００×３０＝３０００のペアの学習サンプルが用いられて所望の荷重セットが計算された。
【００７９】
ネットワークが学習したことの概要を知るために、この学習したネットワークでいくつかの実証を行なった。
【００８０】
最初の実証例では、ネットワークに対して、最初の１０時間ステップの期間中にソリトン教師による教師強制が行なわれた。次いで、教師強制を停止し、ネットワークを更に １００時間ステップに渡って自由に走らせた。図４ｇは、自由に走らせてから１， ５， １０， ２０， ５０， １００時間ステップの時点で収集した図を示す。最初に強制されたソリトンはしばらく残存するが、全体のダイナミクスは、いずれ、学習ソリトンと同じ速度及び方向でトーラス上を移動する２つの大きなソリトンの安定で対称的なパターンに再組織化される。
【００８１】
他の実証例では、初期教師強制なしで、ランダム化された初期状態からネットワークを走らせた。ある時間（典型的には５０時間ステップ未満）の後には、大域的に組織化された進行波の安定なパターンが現れた。図４ｈは、このようにして現れた滑らかな波のパターンと、さざ波のパターンとを示す。
【００８２】
注記。本例では、本発明の方法を空間的ダイナミクスに適用する方法を強調した。実際の学習タスクを行なうのは１個の出力ユニットに限られており、本例のシステムに課された空間的均質性の条件に基づいて、学習した荷重がその他の全ての出力ユニットにコピーされる。ＤＲの役割は隠れ層が担っており、この場合のこれらの荷重は（上述の例のように）ランダムに与えられたものではなく、図４ｃに従って設計された。
【００８３】
「例４：カオス的発振器の学習：ローレンツアトラクタ」
本例では、本発明の方法を用いて、教示信号にノイズが存在する場合にカオス的発振器をオンライン学習する方法を説明する。
【００８４】
ネットワークを、ランダムでまばらに接続されたＤＲ（８０ユニット、接続度０．１ 、荷重は等確率で＋０．４ 又は−０．４）と単一の出力ユニット（完全に接続された出力からＤＲへのフィードバック接続、［−２，２］の一様分布から選択したランダム荷重）とで構成した。更新ルールは、（１）式の変形である「リークのある積分」であった。これは、以下のように「ポテンシャル」変数ｖを用いて以前の状態を現在の状態と混合するものである。
【００８５】
ｘｊ （ｔ＋１）＝ｆ（ｖｊ （ｔ＋１））
ｖｊ （ｔ＋１）＝（１−ａｊ ）（Σｉ＝１，．．．，Ｎ ｗｊｉｘｉ （ｔ））＋ａｊ ｖｊ （ｔ） …（６）
【００８６】
伝達関数ｆ＝ｔａｎｈが用いられた。リーク係数ａｊ は［０， ０．２］の一様分布からランダムに選択された。
【００８７】
上述の例と同様に、この構成によって、限界的大域安定性を有すると共に個別ユニットのインパルス応答が多様で豊富なＲＮＮが得られた。
【００８８】
よく知られている３次元のローレンツアトラクタをその第１次元に射影することにより１次元の教示信号が得られた。この信号に少量のノイズが加えられた。ノイズのある教師信号の遅れ埋込み表現を図５ａに示し、ノイズの無い教師信号のそれを図５ｂに示す。学習タスクは、ニューラルネットワークがその出力ユニットのダイナミクスに（ノイズなし）ローレンツトレースを再現するようにＤＲから出力への荷重を（ノイズのある学習信号を用いて）適応させることであった。
【００８９】
本発明の方法によって出力荷重が学習された。実証の目的として、以下に３つの変形例を説明する。これらは、（ａ）オフライン学習、（ｂ）ＲＬＳ法を用いたオンライン学習、（ｃ）ＬＭＳ法を用いたオンライン学習、である。
【００９０】
「オフライン学習」ネットワークの状態を全てゼロの状態に初期化した。次いで、ネットワークへ入力が供給され、正しい教師出力が５１００更新ステップに渡って３個の出力ノードに書き込まれた（教師強制）。最初の １００更新ステップのデータは廃棄された。教師強制を伴う残りの５０００更新ステップのデータが収集され、線形回帰計算を用いて最小のＭＳＥ（（４）式）を有するＤＲから出力への荷重を決定するために用いられた。得られたＭＳＥ（４）は０．００００８９であった（信号中のノイズ成分に起因する理論的に可能な最小の平均二乗誤差は０．００００５２である）。この学習で発生した時系列を図５ｃに示す。
【００９１】
ＲＬＳ法を用いたオンライン学習。「再帰的最小二乗」法は多数の変形として実施することができる。ここでは非特許文献３を使用した。オフライン学習バージョンと同じＤＲが用いられた。ＲＬＳに必要な「忘却率」はλ＝０．９９９５に設定された。図５ｄに学習曲線を示す（ｌｏｇ１０（ε２ ）の展開、プロット点当たり １００ステップに渡る平均によって低域通過フィルタ処理）。約１０００ステップ後には、誤差は約０．００００９５の最終調節誤差レベルに収束する。これは、オフラインの例よりも若干劣る。図５ｅは学習したネットワークが発生した時系列を示す。
【００９２】
「ＬＭＳ法を用いたオンライン学習」最小平均二乗法は、その強力さと簡単さとによって非常に広く用いられている。しかし、「課題を解決するための手段」で既に述べたように、これは本発明の方法にとって理想的なものではない。その理由は、ＤＲの状態ベクトルは大きな固有ベクトル差を有するためである。しかし、この事実を示すためにＬＭＳ法が実施された。ＬＭＳ法では各時間ステップにおいて
ｗｊｉ（ｔ＋１）＝ｗｊｉ（ｔ） ＋μεｘｉ （ｔ） 　…（７）
に従って荷重を更新する。ここで、μは学習率であり、ｊは出力ユニットの指標であり、
【００９３】
【数１３】
2004511866.tif 000013
【００９４】
と（ｆ反転させた）出力ユニット信号ｙｊ （ｔ）との差、である。
【００９５】
学習率μを減少させつつ５つの連続する期間でネットワークを適応させた。即ち、１．μ＝０．０３，Ｎ＝１０００ステップ、２．μ＝０．０１，Ｎ＝１０，０００ステップ、３．μ＝０．００３ ，Ｎ＝５０，０００ステップ、４．μ＝０．００１ ，Ｎ＝１００，０００ ステップ、５．μ＝０．０００３，Ｎ＝２００，０００ ステップ。第５の期間の最後には平均二乗誤差Ｅ［ε２ ］が約０．０００１２５に到達した。図５ｆは学習曲線（全期間を連結した）を示し、図５ｇは学習したネットワークが発生した時系列を示す。学習したネットワークがカオス的アトラクタではなく点アトラクタを生成することが明らかである。従って、ＬＭＳ法がＤＲから出力への荷重の学習には適していないことが判る。学習したネットワークの状態ベクトルｘ（ｔ） の共分散行列の固有値分布をより詳細に調べると、固有値の差は非常に大きく、実際にはλｍａｘ ／λｍｉｎ は約３×１０８ である。図５ｈはこの行列の固有値の対数グラフを示す。このような固有値分布は、まばらに接続されると共にランダムに荷重が付されたＲＮＮとして用意されたＤＲでは、普通に見られる。
【００９６】
「例５：直接／状態フィードバックコントローラ」
本例では、本発明の方法を用いて、減衰振り子の追跡制御用の状態フィードバックニューロコントローラを得る方法を説明する。
【００９７】
振り子は、差分方程式
ω（ｔ＋δ）＝ω（ｔ） ＋δ（−ｋ１ ω（ｔ）−ｋ２ ｓｉｎ（ψ（ｔ））＋ｕ（ｔ） ＋ｖ（ｔ））
ψ（ｔ＋δ）＝ψ（ｔ） ＋δω（ｔ） 　　　…（８）
によって離散時間でシミュレーションした。但し、ωは角速度であり、ψは角度であり、δは時間ステップの増分であり、ｕ（ｔ） は制御入力（トルク）であり、ｖ（ｔ） は制御されないノイズ入力である。定数は、ｋ１ ＝０．５ ，ｋ２ ＝１．０ ，δ＝０．１ に設定し、ノイズ入力は［−０．０２， ０．０２］の一様分布から選択された。
【００９８】
タスクは振り子用の追跡コントローラを学習することであった。より詳しくは、学習したコントローラネットワークが２ステップ先の基準軌跡
ｙｒｅｆ （ｔ＋２δ）＝（ｘ１ｒｅｆ（ｔ＋２δ），ｘ２ｒｅｆ（ｔ＋２δ），ωｒｅｆ （ｔ＋２δ））を受取る。ここで、ｘ１ｒｅｆ（ｔ＋２δ）及びｘ２ｒｅｆ（ｔ＋２δ）は振り子の端点の所望の位置座標であり、ωｒｅｆ （ｔ＋２δ）は所望の角速度である。振り子の長さは０．５ であったので、ｘ１ｒｅｆ（ｔ＋２）及びｘ２ｒｅｆ（ｔ＋２）は［−０．５， ０．５］の範囲にある。更に、コントローラは現在の振り子の状態の状態フィードバックｙ（ｔ） ＝（ｘ１ （ｔ），ｘ２ （ｔ），ω（ｔ））を受取る。コントローラは、現在時刻ｔの２更新ステップ後に振り子が基準軌跡を追跡するように、振り子に対するトルク制御入力ｕ（ｔ） を発生する必要がある。図６ａは利用段階でのコントローラの構成を示す。
【００９９】
学習のために、時間と共に変化する制御入力
【０１００】
【数１４】
2004511866.tif 000014
【０１０１】
に対する振り子の応答をシミュレーションして ５００ステップの長さの教師信号が作成された。これは、高周波数で小振幅の信号と低周波数で大振幅の信号という２つのランダムなバンド化された信号の重ね合わせとして選択された。図６ｃは学習信号として用いられた制御入力
【０１０２】
【数１５】
2004511866.tif 000015
【０１０３】
を示し、図６ｄはシミュレーションした振り子の状態の応答ｘ２ （ｔ） を示し、図６ｅは状態の応答ω（ｔ） を示す（状態の応答のｘ１ （ｔ） 成分は定性的にはｘ２ （ｔ） に類似しているので図示を省略する）。このネットワークに対する学習信号は、入力
ｙ（ｔ） ＝（ｘ１ （ｔ），ｘ２ （ｔ），ω（ｔ））及び
ｙ（ｔ＋２δ）＝（ｘ１ （ｔ＋２δ），ｘ２ （ｔ＋２δ），ω（ｔ＋２δ））
から構成された。ネットワークは、これらの入力からその出力ｕ（ｔ），ｕ（ｔ）ｓｔａｔｔ／，ω（ｔ）を発生することを学習することが必要であった。図６ｂは学習の構成を示す。
【０１０４】
前述の例（ローレンツアトラクタ）と同様の １００ユニットのＤＲでネットワークを構成した。６個の外部入力ユニットがまばらで（接続度２０％）ランダムに（荷重は等確率で＋０．５ 及び−０．５）ＤＲに取り付けられた。また、ＤＲへのフィードバック接続無しの１個の出力ユニットが設けられた。ネットワーク更新ルールは、内部ＤＲユニットに対する標準のノイズのあるシグモイド更新ルール（１’）であった（ノイズは［−０．０１， ＋０．０１］の均質分布）。出力ユニットは、（１）式で伝達関数を同一としたバージョンで出力を更新した（即ち線形ユニット）。図６ｂに示したように、学習データセット（Ｎ＝５００）全体に渡る平均二乗の意味で誤差
【０１０５】
【数１６】
2004511866.tif 000016
【０１０６】
が最小になるように、ＤＲから出力への荷重を簡単な線形回帰で計算した。
【０１０７】
テストとして、学習したネットワークに対して、３個のユニットにおいて目標軌跡
ｙｒｅｆ （ｔ＋２δ）＝（ｘ１ｒｅｆ（ｔ＋２δ），ｘ２ｒｅｆ（ｔ＋２δ），ωｒｅｆ （ｔ＋２δ））を供給した。なお、学習段階では、入力ｙ（ｔ＋２δ）＝（ｘ１ （ｔ＋２δ），ｘ２ （ｔ＋２δ），ω（ｔ＋２δ））を受取っていた。ネットワークは、更に、３個のユニットにおいて状態フィードバックｙ（ｔ）＝（ｘ１（ｔ）， ｘ２（ｔ）， ω（ｔ））を振り子から受取った。学習中には、信号ｙ（ｔ）＝（ｘ１（ｔ）， ｘ２（ｔ）， ω（ｔ））を受取っていた。ネットワークは制御信号ｕ（ｔ）を発生し、これはシミュレーションされた振り子に供給された。図６ｆはネットワーク出力ｕ（ｔ）を示し、図６ｇは、基準のｘ２ｒｅｆ（ｔ＋２δ）（実線）と、２ステップ遅れた振り子の軌跡ｘ２ （ｔ＋２δ）（破線）とを重ねて示し、図６ｈは、基準のωｒｅｆ （ｔ＋２δ）（実線）と、２ステップ遅れた振り子の軌跡ω（ｔ＋２δ）（破線）とを重ねて示す。このように、ネットワークは追跡コントローラとしての機能を学習した。
【０１０８】
「議論」学習したネットワークはダイナミクス状態フィードバック追跡コントローラとして動作する。システムモデル（８）が既知である場合には、振り子用の完全な追跡コントローラの解析的な設計は難しくない。本例が挑戦的である点は、先験的な情報なしに、僅かな学習データセットから、このようなコントローラを学習することにある。
【０１０９】
リカレントニューラルネットワークの学習を通じてこのようなコントローラを得るというアプローチは新規であり、本発明の独立請求項を構成する。より詳しくは、この請求項は、本発明の方法に従ったリカレントニューラルネットワークの学習により閉ループ追跡コントローラを得る方法であって、（１）入力学習データがｙ（ｔ＋Δ）及びｙ（ｔ） の形式の２つのベクトル値時系列からなり、ここで、ｙ（ｔ＋Δ）は、利用段階において基準信号として機能する変数の未来バージョンであり、ｙ（ｔ）は状態又は観測フィードバック変数であり（必ずしもｙ（ｔ＋Δ）と同一ではない）、（２）出力学習データがベクトル
【０１１０】
【数１７】
2004511866.tif 000017
【０１１１】
を構成し、これは、学習入力データｙ（ｔ＋Δ）及びｙ（ｔ） を発生するためにプラントに供給される制御入力である、という方法である。
【０１１２】
「例６：２方式装置：周波数発生器及び周波数計」
本例では、本発明の方法を用いて、調整可能な周波数発生器（入力：目標周波数、出力：所望の周波数の発振）及び周波数計（入力：発振、出力：周波数指示）という２方式で使用することができる装置を得る方法を説明する。ネットワークは、各々が入力ユニット又は出力ユニットとして使用可能な２個の追加ユニットを有する。学習中には、目標周波数及びその周波数の発振という２つの教師信号が同時に供給されるという意味において、両方のユニットは形式的に出力ユニットとして扱われる。
【０１１３】
学習段階では、第１の学習チャンネルは、０．１ と０．３ との間で滑らかではあるが不規則に変化するゆっくり変化する信号である（図７ａ）。他方の学習チャンネルは、第１の信号に従って周波数が変化する速い正弦発振である（図７ｂ、振幅にジッタがみられるが、離散サンプリングによる人工的なものである）。
【０１１４】
１００ユニットのＤＲでネットワークを構成した。接続荷重行列Ｗは、幅５の対角バンドを有するバンド行列であった（即ち、｜ｊ−ｉ｜≧３である場合にｗｊｉ＝０）。このバンド構造がユニットにトポロジーを誘導する。２ユニットが近いほど（即ち、ｍｏｄ１００で｜ｊ−ｉ｜がより小さい）、これらはより直接に結合する。この局所性が、局所的に異なる活性パターンを発生させる。図７ｃは５ユニットごとのインパルス応答を示す（時間ステップ１０におけるインパルス入力）。対角バンド内の荷重は、予備的に、等確率で＋１又は−１に設定された。得られたＤＲダイナミクスが限界的大域安定となるまで、荷重を大域的及び一様にスケーリングさせた。このスケーリングにより、安定性マージンδ＝０．００２５に対して荷重±０．３３０４が得られた（安定性マージンは、本明細書の後の部分にある好適な実施の形態の詳細な説明で定義される）。
【０１１５】
更に、２個の追加ユニットには、ＤＲに戻るフィードバック接続が設けられた。２個の追加ユニットの各々において、これらの接続は接続度 ０．５でランダムに接続された。これらのフィードバック接続の荷重は、第１の追加ユニットに対しては±１．２４に、第２の追加ユニットに対しては±６．２０になるようにランダムに選択された。
【０１１６】
ネットワークの状態をランダムに初期化し、学習のためにネットワークを１１００ステップだけ走らせた。図７ａ及び図７ｂに示した同一種類の２つの信号がネットワークに供給され（第１の追加ユニットに対しては目標周波数信号を、第２の追加ユニットに対しては発振を）、正しい教師出力が２個の出力ノードに書き込まれた（教師強制）。（１’）式に従って小さな加算ノイズを加えつつＤＲの更新が行なわれた。ノイズは［−０．０２， ０．０２］の一様分布からサンプリングされた。最初の １００更新ステップのデータは廃棄された。教師強制を伴う残りの１０００更新ステップのデータが収集され、最小平均二乗誤差（（４）式）の線形回帰解を得るために使用された。結果として、ＤＲユニットから２個の出力ユニットへの接続に対する荷重が得られた。
【０１１７】
利用段階では、学習したＲＮＮは、周波数発生器又は周波数計という２つの方式のいずれかで使用された。利用段階では、更新ルールのノイズなしバージョン（（１）式）が用いられた。
【０１１８】
利用段階の周波数発生器モードでは、第１の追加ユニットは入力ユニットとして、第２の追加ユニットは出力ユニットとして扱われた。目標周波数信号、たとえば図７ｄに示した ４００時間ステップの階段信号、が入力ユニットに供給された。出力の役割を与えられた第２の追加ユニットでは、発振はネットワークによって発生された。図７ｅは、階段入力によって要求された正しい周波数の発振（実線）と、ネットワークが実際に発生した出力（破線）との重ね合わせを示す。図７ｆは、出力信号（実線）とネットワークが発生した出力（破線）との周波数振幅（フーリエ変換の絶対値）の重ね合わせを示す。図７ｅ及び図７ｆからは、要求された周波数の発振を発生することをネットワークが学習したことが判る。但し、範囲の低域及び広域において周波数歪みを有する。図７ｇは任意に選択された８個のＤＲのユニットのトレースを示す。これらは、出力信号として同一周波数の発振を示しており、入力信号に従って、それらの振幅範囲で転置され、スケーリングされている。
【０１１９】
利用段階の周波数計モードでは、第２の追加ユニットは、変化する周波数の発振が書き込まれる入力ユニットとして使用された。第１の追加ユニットは今回は出力ユニットとして動作した。図７ｈは入力信号を示す。図７ｉは、完全な出力（実線）と実際に発生した出力（破線）との重ね合わせを示す。ネットワークが周波数計として動作することを学習したことが判る。但し、同様に、範囲の低域及び広域において周波数歪みを有する。ＤＲユニットのトレースのグラフは周波数発生器モードの場合と正確に同様であるので図示を省略する。
【０１２０】
本例が挑戦的である点は２つある。第１に、ネットワークは出力ダイナミクス自身を学習するのではなく、２つの学習信号の間のダイナミクスの関係を「発見」することが必要であった。第２に、この２つの信号時間スケールが非常に異なっている。つまり、周波数目標は本質的に定常的であり、発振信号は速い時間スケールで変化する。この学習したネットワークにより要求された異なる時間スケールの信号の間の双方向情報交換には特別の困難を伴う。学習したネットワークに安定なダイナミクスを得るためには、学習中にノイズのある更新ルールを用いることが不可欠であることが本例において見出された。
【０１２１】
本例は、本発明の別の独立請求項、即ち、本発明の方法を用いていくつかの信号の間のダイナミクスの関係についてＲＮＮを学習させること、の一例である。より詳しくは、この請求項は、（１）本発明によるＤＲアーキテクチャのｎ個の追加ユニットに対して学習データ
【０１２２】
【数１８】
2004511866.tif 000018
【０１２３】
を供給することであって、これらの追加ユニットはＤＲへのフィードバック接続を有しており、（２）（４）式による平均二乗誤差を最小化するようにネットワークを学習させることであり、次いで、（３）任意にそれらのユニットのいくつかを入力ユニットとし、残りを出力ユニットとすることにより、ネットワークを何らかの「方向」で利用することである。
【０１２４】
「各例についての議論」
これらの例によって、本発明の不変で独立の核心が何であるか、また、代替実施の形態となる従属変形例が何であるか、が明らかになる。
【０１２５】
各例における共通のアスペクトは以下の通りである。
●以下の特性によって特徴づけられるＤＲの使用：
○その荷重が学習中に変更されない
○限界的大域的に安定なダイナミクスが得られるようにして、その荷重が大域的にスケーリングされる
○異なるユニットのインパルス応答が異なったものとなるようにＤＲが設計される
○ユニットの数が、取り扱うそれぞれのタスクに対する最小サイズのＲＮＮに丁度必要な数よりも多い（超完備基底のアスペクト）
●（４）式による平均二乗誤差が学習データ全体に対して最小化されるように、ＤＲから出力への接続荷重のみを学習する。
【０１２６】
各例は以下のアスペクトにおいて異なっている：
●ネットワークがトポロジー的／空間的構造（励起可能媒体の例における２次元格子、及び、２方式装置の例におけるバンド行列誘導局所性）を有してもよく、そのような構造を有していなくてもよい（その他の例）。
●ＤＲユニットに必要とされる異なるインパルス応答は、ＤＲの明示的な設計によって（励起可能媒体の例）、又はランダム初期化によって（その他の例）、達成することができる。
●ネットワークの更新ルールは、（１）式による標準的な方法であってもよく（短期間記憶の例、及び励起可能媒体の例）、その他の方法であってもよい（カオス的発振器におけるリークのある積分更新ルール、及び、２方式装置におけるノイズのある更新）。
●ＤＲから出力への接続荷重の計算は、平均二乗誤差を最小化するための何らかの標準的方法を用いて、オフラインで（短期間記憶、励起可能媒体、及び２方式装置）、又はオンラインで（カオス的発振器）、実行することができる。
【０１２７】
「本発明及び好適な実施の形態の詳細な説明」
以下では本発明の好適な実施の形態を詳細に説明する。「課題を解決するための手段」と同様に、まず、アーキテクチャ及び構成のアスペクトを詳細に説明し、次いで、学習方法の手続き的アスペクトを詳細に説明する。
【０１２８】
「ＤＲの構成」
本発明の中心的なアーキテクチャ的アスペクトは、荷重が固定されていて、以降の学習によって変更されないＤＲを設けることである。本発明の学習方法のためのＤＲの目的は、豊富で、安定で、好ましくは長期間残存する励起可能なダイナミクスを提供することである。この目標を実現するために、本発明では以下の方法が提供される。
【０１２９】
「大きなネットワークサイズによる豊富なダイナミクス」
本発明の好適な実施の形態では、比較的大型のＤＲを使用して、異なるユニットダイナミクスの豊富な多様性を提供する。典型的な場合には５０ユニット又はそれよりも（ずっと）多く、５０ユニット未満の構成は、単純な発振器を学習する場合等の、要求の厳しくない用途にのみ適切である。
【０１３０】
「不均質なネットワーク構造による豊富なダイナミクス」
本発明の好適な実施の形態では、ＤＲに不均質性を導入することにより、ＤＲユニットのインパルス応答に豊富な多様性を達成する。以下のような戦略を単独で、又は組合せて用いることにより、不均質性という設計目標を達成する。
●以下の方法によって、ＤＲに不均質な連結性構造を実現する。
○ランダムかつまばらにＤＲ接続を構築することによる、
○バンド構造を有する連結性行列を用いることにより、ＤＲの異なる部分の空間的結合を解消させる（上述の各例では用いなかった戦略）、
○ユニットを層、又はモジュールとして配置すること等により、ＤＲのトポロジーに別の内部構造を付与する、
【０１３１】
●以下を与えることにより、ＤＲユニットに異なる応答特性を持たせる。
○異なる伝達関数、
○異なる時定数、
○異なる接続荷重。
【０１３２】
「スケーリングによる限界的安定ダイナミクス」
大域的に安定なダイナミクスを有するＤＲを得る好適な方法は、まず、前述の好適な実施の形態に従って不均質なＤＲを構築し、次いで、共通因子αを用いて荷重を大域的にスケーリングすることであるが、その際、共通因子αは以下のように選択される。
１．ネットワークダイナミクスが大域的に安定となる、即ち、任意の開始活性状態からでもダイナミクスがゼロに減衰する、及び
２．この安定性が限界的なものに過ぎない、即ち、小さなマージンだけ１よりも大きい因子α’＝１＋δによってネットワーク荷重を更にスケーリングすれば、ネットワークダイナミクスが不安定になる。
【０１３３】
スケーリング因子α’＝１＋δ中のδが変化すると、臨界値δｃｒｉｔにおいて、ネットワークダイナミクスは大域的に安定なダイナミクスからその他のダイナミクスに分岐する。上述の例では、この値は安定性マージンと称された。所与のスケーリング因子の安定性マージンを決定するために現状で利用可能な唯一の方法は、系統的探索である。
【０１３４】
「安定性の限界性を調整することによる短期間記憶の期間の調整」
ＲＮＮの多くの応用において、設計目標は、学習したＲＮＮにおける短期間記憶を長くすることである。この設計目標は、ＤＲの安定性マージンを適切に選択することにより本発明の実施の形態でサポートされている。
【０１３５】
安定性マージンが小さいほど、短期間記憶の実効期間が長くなる。従って、長く残存する短期間記憶の機能という設計目標は、安定性マージンを小さな値に設定することにより本発明の実施の形態で実現することができる。短期間記憶の期間を最大化することが目標であるという典型的な実施の形態では、 ０．１よりも小さなδの値が使用される。
【０１３６】
「ＤＲへの入力の供給」
人工ニューラルネットワークの分野で、ネットワークへ入力を供給する最も一般的な方法は、これまでのところ、追加の入力ユニットを用いることである。上述の各例ではこの標準的な方法が用いられた。ＲＮＮへ入力を供給する別の方法も考えられるが、本質的には追加の入力ユニットの記法の変形（たとえば、ＤＲユニット活性更新の式（１）に入力項を追加する方法）であるか、又は、ほとんど用いられない方法（たとえば、入力によって大域的なネットワークパラメータを変調する方法）である。如何なる方法であっても、（１）得られるＤＲのダイナミクスが入力によって著しく影響を受け、（２）個別のＤＲユニットのダイナミクスに必要な可変性が保存されるならば、本発明の方法とコンパチブルである。
【０１３７】
以下では、（追加の入力ユニットによって）入力を供給する最も一般的な方法を詳細に説明する。
【０１３８】
本発明の方法によれば、入力ユニットからＤＲネットワークへの連結度パターン、及びこれらの入力からＤＲへの接続に対する荷重は構築時に固定され、学習中にも変更されない。
【０１３９】
本発明の好適な実施の形態では、入力からＤＲへの接続及びその荷重は２つのステップで固定される。ステップ１では、連結度パターンが決定され、その荷重が初期値に設定される。ステップ２では、荷重値が大域的にスケーリングされて性能が最大化される。以下では、この２つのステップをより詳細に説明する。
【０１４０】
ステップ１：入力からＤＲへの接続を確立し、その荷重を初期値に設定する。ステップ１で達成すべき設計目標は、入力信号に対する個別のＤＲユニットの応答に高い可変性を保証することである。本発明の方法によれば、以下のルール又はその何らかの組合せによってこの目標が達成される。
【０１４１】
●接続をまばらに設ける、即ち、出力ユニットからＤＲユニットへの可能な接続の多数又は大部分に対してゼロ荷重を与える。
●確率分布からサンプリングすることにより、非ゼロ接続のフィードバック荷重をランダムに選択する（カオス的発振器学習の例のように）。
●非ゼロ接続のフィードバック荷重に異なる符号を割り当てる、即ち、禁止的及び励起的なフィードバック接続の両方を設ける。
【０１４２】
ステップ２：ステップ１で設定した荷重を大域的にスケーリングする。ステップ２の目標は性能を最適化することである。一般的なルールは与えられない。ネットワークの特定の目的に応じて、非常に小さい絶対荷重から非常に大きい絶対荷重の異なるスケーリング範囲が最適であり得る。利用者の便利のために以下に示すルールに従うことが有用であろう。これらは、ＤＲネットワークの更新ルールに非線形（典型的にはシグモイド）の伝達関数を用いる実施の形態に適用することができる。
【０１４３】
●大きな荷重は、高速で、高周波数の Ｉ／Ｏ応答特性に適しており、小さな荷重は、遅い信号の場合、又は、何らかの低域通過特性が必要な場合に適している。たとえば、単一の入力インパルスによってネットワーク全体の状態が１つのアトラクタから別のアトラクタに切替わる多安定（マルチフロップ）メモリネットワーク（本明細書では説明していない）を学習する際には、±５．０ という非常に大きな値の入力からＤＲへの荷重が使用された。
●大きな荷重は、高度に非線形な「スイッチング」 Ｉ／Ｏダイナミクスが必要な場合に適しており、小さな荷重は、より線形的な Ｉ／Ｏダイナミクスに適している。
●大きな荷重は、必要な時間記憶長が短いタスク（即ち、時刻ｔにおける出力が僅かに先行する入力及び出力にのみ有意に依存する場合）に適しており、小さな荷重は、時間記憶効果を長く取る場合に適している。たとえば、遅延線の例（記憶長を長くすることが目標であった）では、±０．００１ と言う非常に小さな入力からＤＲへの荷重が使用された。
●多数の入力チャンネルがある場合には、より大きな絶対荷重を有する入力からＤＲへの接続を有するチャンネルのほうが、小さな荷重のチャンネルに比してシステム出力に対する影響が強い。
【０１４４】
「利用段階でのネットワークからの出力の読み出し」
本発明の方法によれば、ネットワークからの出力は常に出力ユニットから読み出される。利用段階では、ｊ番目の出力ｙｊ （ｔ＋１）（ｊ＝１，…，ｍ）は、（１）式の更新ルールの適用により、即ち、ｙｊ （ｔ＋１）＝ｆｊ ＜ｗｊ ，ｘ（ｔ） ＞によって、ｊ番目の出力ユニットから得られる。ここで、内積＜ｗｊ ，ｘ（ｔ） ＞は、ｊ番目の出力ユニットの伝達関数ｆｊ を通じて渡される入力ユニットｕ（ｔ），ＤＲユニットｘ（ｔ），及び出力ユニットｙ（ｔ） の荷重付き活性の和
ｗｊ１ｕ１（ｔ）＋…＋ｗｊｎｕｎ （ｔ） ＋ｗｊ，ｎ＋１ ｘ１（ｔ）＋…
＋ｗｊ，ｎ＋Ｋ ｘＫ （ｔ） ＋ｗｊ，ｎ＋Ｋ＋１ ｙ１（ｔ）＋…＋ｗｊ，ｎ＋Ｋ＋ｍ ｙｍ （ｔ）
である。典型的な実施の形態では、ｆｊ はシグモイド又は線形関数である。
【０１４５】
「出力ユニットからＤＲへのフィードバック接続」
本発明の方法では、出力ユニットからＤＲへのフィードバックに関しては、所望のタスクに応じて２つの方法が提供される。つまり、（ａ）このような接続無しにネットワークを構成する方法と、（ｂ）このような接続を設けてネットワークを構成する方法とが可能である。タイプ（ａ）の本発明の実施の形態は典型的には受動的フィルタ処理タスクに適用され、一方（ｂ）の場合は典型的には能動的信号発生タスクに必要とされる。しかし、フィードバック接続はフィルタ処理タスクにおいても、特に、（２方式装置の例のように）フィルタ処理タスクが自律的状態ダイナミクスを有するシステムのモデル化を扱う場合には必要となることがある。この状況は、線形信号処理の述語を用いれば、無限インパルス応答（ＩＩＲ：ｉｎｆｉｎｉｔｅ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ）フィルタにも当てはまる。しかし、この述語は、通常、線形フィルタに対して使用されている。ＲＮＮは非線形フィルタを構成する。従って、本願では別の述語を用いる必要がある。入力と、出力ユニットからのフィードバック接続とを有するＲＮＮは能動的フィルタ処理タスクを実行するものとする。
【０１４６】
本発明の方法によれば、フィードバック接続を用いる場合には（即ち、信号発生又は能動的フィルタ処理タスクでは）、これらはネットワークの設計時に固定され、以降の学習でも変更されない。
【０１４７】
出力からＤＲへのフィードバック接続の構成は、既に詳述した入力からＤＲへの接続の構成と完全に類似している。従って、本発明の好適な実施の形態では出力からＤＲへのフィードバック接続の設計が２つのステップで行なわれる、と再び述べるだけで充分である。第１のステップでは連結度パターンと荷重の初期設定とが固定され、第２のステップではその荷重が大域的にスケーリングされる。入力からＤＲへの接続に関して説明した設計目標と発見的ルールとは、変更なしに出力からＤＲへの接続にも当てはまるので、繰返す必要はない。
【０１４８】
「ＤＲから出力への荷重を学習することによる出力ＭＳＥの最適化」
上述のようにＤＲネットワークと適切な入力及び出力装置とを設けることによりネットワークを構成した後で、本発明の方法では、ＤＲユニットから（設けてある場合には、入力ユニットからということもあり得る）出力ユニットへの荷重を決定する処理を行なう。これは、教師あり学習処理で行なわれる。
【０１４９】
「学習判定基準：平均二乗出力誤差の最小化」
出力ユニットへの接続の荷重は、（４）式の平均二乗誤差が学習データ全体に対して最小化されるようにして決定される。便宜を図って（４）式を再掲する。
【０１５０】
【数１９】
2004511866.tif 000019
【０１５１】
ｊ番目の出力ユニットの所望の（教師）出力であり、これには、このユニットの伝達関数ｆｊ の逆が適用される。＜ｗｊ ，ｘ（ｔ） ＞は内積
ｗｊ１ｕ１（ｔ）＋…＋ｗｊｎｕｎ （ｔ） ＋ｗｊ，ｎ＋１ ｘ１（ｔ）＋…＋ｗｊ，ｎ＋Ｋ ｘＫ （ｔ）
＋ｗｊ，ｎ＋Ｋ＋１ ｙ１（ｔ）＋…＋ｗｊ，ｎ＋Ｋ＋ｍ ｙｍ （ｔ） …（５） （再掲）
を表す。ここで、ｕｉ （ｔ） は（適用可能な場合には）入力ユニットの活性であり、ｘｉ （ｔ） はＤＲユニットの活性であり、ｙｉ （ｔ） は出力ユニットの活性である。
【０１５２】
（４）式のＭＳＥを最小化する代わりにオンラインの適応的方法を用いる本発明の別の実施の形態では、以下の平均二乗誤差を最小化することも可能である。
【０１５３】
【数２０】
2004511866.tif 000020
【０１５４】
この２つの変形例の間の理論的差異は、第１の場合（（４）式）では学習手続きによって出力ユニット状態誤差が最小化されるのに対して、第２の場合では出力値誤差が最小化されることである。実際上は、通常、これによって有意な差異は生じない。その理由は、出力ユニットの状態と出力値とは伝達関数によって直接に関連しているからである。例の節で説明した各例では、全てにおいて（４）式が用いられた。
【０１５５】
本発明の更に別の実施の形態では、ＭＳＥを最小化することは、入力ユニット，ＤＲユニット，及び出力ユニットのサブセットに対して適用される。より詳しくは、これらの代替実施の形態ではＭＳＥとして
【０１５６】
【数２１】
2004511866.tif 000021
【０１５７】
が最小化される。ここで、ｓは０及び１からなるｗｊ と同じ長さのベクトルであり、ｒ・ｓ＝（ｒ１ …ｒｋ ）・（ｓ１ …ｓｋ ）＝（ｒ１ ｓ１ …ｒｋ ｓｋ ）はユニットごとの乗算を示す。＜ｗｊ ，ｘ（ｔ） ＞の代わりに＜ｓ・ｗｊ ，ｘ（ｔ） ＞を採用することによる効果は、選択ベクトルｓによって選択された入力／ＤＲ／出力ユニットのみが出力誤差の最小化に使用されることである。ｓの内で０によって指定されるこれらの入力／ＤＲ／出力ユニットから出力ユニットへの接続荷重は０に設定される。詳しくは、変形（４＊ ）又は（４’＊ ）を用いて出力から出力への接続の学習を排除することができる。変形（４＊ ）は「短時間記憶」及び「フィードバックコントローラ」の例（出力から出力へのフィードバックを排除した）において、また、「励起可能媒体」の例（図４ａ及び図４ｂに示した局所近傍を定義するために変形（４＊ ）を拡張使用）において使用された。
【０１５８】
「学習法：教師強制を用いた教師あり教示」
本発明の方法によれば、ＭＳＥ（４）， （４’）， （４ ＊ ）、又は（４’＊ ）が教師あり教示の手続きによって最小化される。入力時系列ｕ（ｔ） 及び（所望の）出力時系列
【０１５９】
【数２２】
2004511866.tif 000022
【０１６０】
からなる学習列が利用可能でなければならない。ここで、ｔ＝１，２，…，Ｎである。ローレンツアトラクタの例及び励起可能媒体の例のように、学習タスクが純粋に生成的なダイナミクスを学習することである場合には、入力時系列ｕ（ｔ）は無くてもよい。
【０１６１】
本発明の方法によれば、ＤＲの活性は時刻ｔ＝１において初期化される。好ましくは、ＤＲ活性はゼロ又は小さなランダム値に初期化される。
【０１６２】
本発明の方法は、構成的オフライン学習及び適応的オンライン学習に使用可能である。本発明の方法は、以下に説明するようにこれら２つの場合に対して調節可能である。しかし、本発明のいくつかのアスペクトは、オンライン／オフラインの区別には無関係である。
【０１６３】
オンライン／オフラインの区別に無関係な１つのアスペクトによれば、入力学習列ｕ（ｔ） は、ｔ＝１，２，…，ＮについてＤＲに供給される。
【０１６４】
オンライン／オフラインの区別に無関係な本発明の別のアスペクトによれば、出力学習列
【０１６５】
【数２３】
2004511866.tif 000023
【０１６６】
に設定される。これは、ＲＮＮの分野では教師強制として知られている。教師強制は、出力ユニットからＤＲへのフィードバック接続がある場合には本質的である。このようなフィードバック接続を用いない場合には教師強制は重要でないが、方法を統一的に説明する際の簡便さのために、用いるものとする。
【０１６７】
オンライン／オフラインの区別に無関係な本発明の別の手続き的アスペクトによれば、ＤＲユニットは時間ステップｔ＝１，２，…，Ｎに対して更新される。いずれの特定の更新ルールを用いるかは本発明の方法には無関係である。ＤＲを繰返して更新することにより活性ベクトル列ｘ（１），…，ｘ（Ｎ） が得られる。ここで、ｘ（ｔ） は時刻ｔにおけるネットワークのユニット（入力ユニットを含み、出力ユニットを含まない）の活性を含むベクトルである。
【０１６８】
本発明の好適な実施の形態では、学習段階で、小さなノイズがネットワークダイナミクスに加えられる。ノイズを加える１つの方法は、更新の式（１’）を用いること、即ち、各更新時に各ネットワークの状態にノイズ項を加えること、である。ノイズを導入する別の方法は、入力信号ｕ（ｔ） 及び／又は
【０１６９】
【数２４】
2004511866.tif 000024
【０１７０】
にノイズを加えることである。より詳しくは、入力ユニットにｕ（ｔ） を書き込む代わりにｕ（ｔ） ＋ｖ（ｔ） を書き込み、出力ユニットに教師強制
【０１７１】
【数２５】
2004511866.tif 000025
【０１７２】
を用いる場合には、最小化すべきＭＳＥは、やはり、学習出力のノイズなしバージョン、即ち（４）式の選択した変形、のままである。
【０１７３】
ネットワークダイナミクスにノイズを加えることは、出力からＤＲへのフィードバック接続が存在する信号発生及び能動的信号処理タスクでは特に有用である。このような場合には、加えられたノイズは、所望の Ｉ／Ｏ挙動に対して安定なシステムダイナミクスの関係が存在しない内部ユニットをランダムに励起する。その結果、そのような「信頼できない」ユニットから出力ユニットへの荷重は、学習手続きの際に非常に小さな値に設定される。正味の効果として、得られた学習したネットワークはより丈夫な（即ち、擾乱からあまり影響を受けない）挙動を行なう。「２方式装置」の例ではノイズを加えることが不可欠であることが分かった。
【０１７４】
ノイズを加えることは、学習データセットがネットワークサイズよりもあまり大きくない場合にも有用である。このような場合には、学習データに過剰適合するという虞がある。換言すれば、良好な一般化性能を実現することが困難になる。ノイズの挿入はネットワークが学習データの特異性に適合することを防止し、これにより一般化が向上する。ノイズを加えて過剰適合を抑制することは、プラント制御状態の小さな部分しか学習中に調べられない「振り子制御」の例では必須であった。ノイズの挿入によって、適切に一般化された性能が実現できた。
【０１７５】
本発明の更なるアスペクトは、オフライン学習又はオンライン学習に特異的である。本発明の方法をこれらの二つの場合に適用する方法を以下で詳細に説明する。
【０１７６】
「学習段階におけるデータ収集のための１更新ステップの説明（オフラインの場合」
本発明の方法をオフライン学習に使用する場合には、ｔ＝１，２，…，Ｎについて学習データがネットワークに供給され、この期間中に得られたネットワークの状態が記録される。時間Ｎの後に、出力ユニットへのＭＳＥ最小化荷重をオフラインで構築するために、これらのデータが用いられる。本発明の方法によれば、完結した１更新ステップとしては、以下のサブステップを実行しなければならない。
【０１７７】
更新ステップｔ→ｔ＋１への入力：
１．ＤＲユニット活性状態ｘ１ （ｔ），…，ｘＫ （ｔ）
２．出力ユニット活性状態ｙ１ （ｔ），…，ｙｍ （ｔ）（教師信号
【０１７８】
【数２６】
2004511866.tif 000026
【０１７９】
３．入力信号ｕ１ （ｔ＋１），…，ｕｎ （ｔ＋１）［タスクが、入力を伴わない純粋な信号発生タスクでない場合］
【０１８０】
【数２７】
2004511866.tif 000027
【０１８１】
更新ステップｔ→ｔ＋１の後の出力：
１．ＤＲユニット活性状態ｘ１ （ｔ＋１），…，ｘＫ （ｔ＋１）
【０１８２】
【数２８】
2004511866.tif 000028
【０１８３】
サブステップ：
１．［タスクが、入力を伴わない純粋な信号発生タスクではない場合］選択した入力供給方法を用いて、入力ｕ１ （ｔ＋１），…，ｕｎ （ｔ＋１）をネットワークに供給する。追加の入力ユニットを用いて入力がネットワークに供給される場合には（標準的方法）、これは、ｎ個の入力ユニットの活性をｕ１ （ｔ＋１），…，ｕｎ （ｔ＋１）に設定することを意味する。こうして、全体のネットワークの状態は、ｕ１ （ｔ＋１），…，ｕｎ （ｔ＋１），ｘ１ （ｔ），…，ｘＫ （ｔ），ｙ１ （ｔ），…，ｙｎ （ｔ） となる［入力ユニットを用いる場合。そうでない場合には、最初のｕ１ （ｔ＋１），…，ｕｎ （ｔ＋１）を除く］。
【０１８４】
２．選択した更新ルールを適用してＤＲユニットの状態を更新する。たとえば、（４）式を用いる場合には、各ｉ＝１，…，Ｋに対して
ｘｉ （ｔ＋１）＝ｆｉ （ｗｉ１ｕ１ （ｔ＋１）＋…
＋ｗｉｎｕｎ （ｔ＋１）＋ｗｉ，ｎ＋１ ｘ１（ｔ）＋…
＋ｗｉ，ｎ＋Ｋ ｘＫ （ｔ） ＋ｗｉ，ｎ＋Ｋ＋１ ｙ１（ｔ）＋…
＋ｗｉ，ｎ＋Ｋ＋ｍ ｙｍ （ｔ））
を評価する。
【０１８５】
３．あとで行なう最適荷重のオフライン計算で使用するために、ｘ（ｔ＋１）＝ｕ１ （ｔ＋１），…，ｕｎ （ｔ＋１），ｘ１ （ｔ＋１），…，ｘＫ （ｔ＋１），ｙ１ （ｔ），…，ｙｍ （ｔ） 及び
【０１８６】
【数２９】
2004511866.tif 000029
【０１８７】
をメモリに書き込む。［最小化すべきＭＳＥが（４＊ ）式の形である場合には、ｘ（ｔ＋１）＝ｓ・（ｕ１ （ｔ＋１），…，ｕｎ （ｔ＋１），ｘ１ （ｔ＋１），…，ｘＫ （ｔ＋１），ｙ１ （ｔ），…，ｙｍ （ｔ））をメモリに書き込む。］
【０１８８】
【数３０】
2004511866.tif 000030
【０１８９】
「オフラインの場合における最適荷重計算の説明」
時刻Ｎにおいて、Ｎ個の状態−教師出力ペア
【０１９０】
【数３１】
2004511866.tif 000031
【０１９１】
がメモリに収集されている。本発明の方法では、次いで、選択ベクトルｓＥＩＮＢＥＴＴＥＮ ｘ（ｔ） で値１を有する全てのユニットからｊ個の出力ユニットへの荷重ｗｊ，ｉ を計算する。これらの荷重は、選択されたＭＳＥの変形（即ち（４）又は（４＊ ））を最小化するように計算する。技術的には、これは線形回帰タスクであり、多数の効率的な方法が利用することができる。（ＭａｔＬａｂ， Ｍａｔｈｅｍａｔｉｃａ， ＬｉｎＰａｃｋ等の技術データ解析ソフトウエアパッケージ、又は統計データ解析パッケージには、高度に洗練された線形回帰プログラムが含まれている。本明細書で説明した例を作成する際にはＭａｔｈｅｍａｔｉｃａ のＦＩＴ手順を用いた。）この線形回帰を行なう方法が特定のものであるかは本発明の一部分ではなく、また、当業者にとっては難しいことではないので、ここでは、ＭＳＥ（４）を最小化する場合のみを簡単に説明する。
【０１９２】
データを用いて学習を行なう前にネットワークにおける初期の過渡効果が減衰していなければならないという事実があるので、準備として、初期の状態−教師出力ペアのいくつかを廃棄することが望ましい。この後、各出力ユニットｊに対して引数値ベクトルデータセット
【０１９３】
【数３２】
2004511866.tif 000032
【０１９４】
の値の最小平均二乗誤差に対する線形回帰荷重を計算する、即ち、（４）式のＭＳＥが最小となるように荷重ｗｊ，ｉ を計算する。
【０１９５】
これらの荷重をネットワークに書き込めば、利用の準備が完了する。
【０１９６】
「利用段階における１更新ステップの説明」
学習したネットワークを利用する際には、入力ｕ１ （ｔ），…，ｕｎ （ｔ） がオンラインで供給され［純粋な信号発生装置でない場合］、ネットワークは出力ｙ１ （ｔ），…，ｙｍ （ｔ） をオンラインで発生する。便宜を図って、利用中のネットワークの更新ステップを以下で詳細に説明する。
【０１９７】
更新ステップｔ→ｔ＋１への入力：
１．ＤＲユニット活性状態ｘ１ （ｔ），…，ｘＫ （ｔ）
２．出力ユニット活性状態ｙ１ （ｔ），…，ｙｍ （ｔ）
３．入力信号ｕ１ （ｔ＋１）， …，ｕｎ （ｔ＋１）［タスクが、入力を伴わない純粋な信号発生タスクでない場合］
【０１９８】
更新ステップｔ→ｔ＋１の後の出力：
１．ＤＲユニット活性状態ｘ１ （ｔ＋１）， …，ｘＫ （ｔ＋１）
２．出力ユニット活性状態ｙ１ （ｔ＋１）， …，ｙｍ （ｔ＋１）
【０１９９】
サブステップ：
１．［タスクが、入力を伴わない純粋な信号発生タスクでない場合］入力ｕ１ （ｔ＋１）， …，ｕｎ （ｔ＋１）をネットワークに供給する。
２．選択した更新ルールを適用してＤＲユニットの状態を更新する。たとえば、（４）式を用いる場合には、各ｉ＝１，…，Ｋに対して
ｘｉ （ｔ＋１）＝ｆｉ （ｗｉ１ｕ１ （ｔ＋１）＋…
＋ｗｉｎｕｎ （ｔ＋１）＋ｗｉ，ｎ＋１ ｘ１（ｔ）＋…
＋ｗｉ，ｎ＋Ｋ ｘＫ （ｔ） ＋ｗｉ，ｎ＋Ｋ＋１ ｙ１（ｔ）＋…
＋ｗｉ，ｎ＋Ｋ＋ｍ ｙｍ （ｔ））
を評価する。
３．選択した更新ルールを適用して出力ユニットの状態を更新する。たとえば、（４）式を用いる場合には、各ｊ＝１，…，ｍに対して
ｙｊ （ｔ＋１）＝ｆｊ （ｗｊ１ｕ１ （ｔ＋１）＋…
＋ｗｊｎｕｎ （ｔ＋１）＋ｗｊ，ｎ＋１ ｘ１（ｔ）＋…
＋ｗｊ，ｎ＋Ｋ ｘＫ （ｔ＋１）＋ｗｊ，ｎ＋Ｋ＋１ ｙ１（ｔ）＋…
＋ｗｊ，ｎ＋Ｋ＋ｍ ｙｍ （ｔ））
を評価する。
【０２００】
ここで注意すべき重要な点は「カスケード」更新である。即ち、最初に、サブステップ２でＤＲユニットが更新され、次いで、サブステップ３で出力ユニットが更新される。これは、学習段階における同様の「カスケード」更新に対応している。
【０２０１】
「変形例」
追加の入力ユニット及び出力ユニットを有するリカレントニューラルネットワークの更新の際には、様々な種類のユニット（入力，ＤＲ，及び出力ユニット）の相対的更新順序に関していくらかの自由度がある。たとえば、上述の特定の「カスケード」更新に代えて別の実施の形態においてＤＲユニット及び出力ユニットを同時に更新することができ、若干（しかし、典型的には有意ではない程度に）異なるネットワーク挙動を得ることができる。ＤＲがモジュール構造又は層構造を有する更に別の実施の形態では、更に複雑な更新管理を要求してネットワークの特定の部分を特定の順序で更新してもよい。本発明の方法を実施する際に重要なことは、いずれの更新方式を用いるにしても、学習段階と利用段階とで同一の方式を用いなければならないということである。
【０２０２】
「オンライン適応のための一つのＬＭＳ更新ステップの説明」
本方法のオフライン変形例とは異なり、オンライン適応法は、出力状態誤差（ＭＳＥ判定基準（４）及び（４＊ ））を最小化するためにも、出力値誤差（ＭＳＥ判定基準（４’）及び（４’＊ ））を最小化するためにも、双方に使用することができる。
【０２０３】
オンライン適応では、ｊ番目の出力ユニットへの荷重ｗｊ，ｉ が各時間ステップにおいて漸近的に最適化され、これによって時間に依存する変数ｗｊ，ｉ （ｔ） 自身となる。オンラインＭＳＥ最小化適応のための多数のよく知られた方法が本発明の方法に対しても使用することができる。そのような方法としては、ＬＭＳ法、ニュートン法（又は、それらの組合せ）のような確率的勾配降下法、又はＲＬＳ法のようないわゆる「決定論的な」本発明の方法、等がある。
【０２０４】
これらの内で、ＬＭＳ法が明らかに最も簡単である。これは本発明の方法に最適という訳ではない（その理由は、ローレンツアトラクタの例の議論の中で述べた）。しかし、その簡単さという理由から、本発明の方法のオンラインバージョンの原理を詳細に説明するためにはＬＭＳを選択することが最良である。
【０２０５】
以下に、ＬＭＳ法を用いて荷重を最適化する場合の１更新ステップを説明する。
【０２０６】
更新ステップｔ→ｔ＋１への入力：
１．ＤＲユニット活性状態ｘ１ （ｔ），…，ｘＫ （ｔ）
２．出力ユニット活性状態ｙ１ （ｔ），…，ｙｍ （ｔ）
３．入力信号ｕ１ （ｔ＋１）， …，ｕｎ （ｔ＋１）［タスクが、入力を伴わない純粋な信号発生タスクでない場合］
【０２０７】
【数３３】
2004511866.tif 000033
【０２０８】
５．出力ユニットへの接続の荷重ｗｊ，ｉ （ｔ）
【０２０９】
更新ステップｔ→ｔ＋１の後の出力：
１．ＤＲユニット活性状態ｘ１ （ｔ＋１）， …，ｘＫ （ｔ＋１）
２．出力ユニット活性状態ｙ１ （ｔ＋１）， …，ｙｍ （ｔ＋１）
３．新たな荷重ｗｊ，ｉ （ｔ＋１）
【０２１０】
サブステップ：
１．［タスクが、入力を伴わない純粋な信号発生タスクでない場合］入力ｕ１ （ｔ＋１）， …，ｕｎ （ｔ＋１）をネットワークに供給する。
２．選択した更新ルールを適用してＤＲユニットを更新する。たとえば、（４）式を用いる場合には、各ｉ＝１，…，Ｋに対して
ｘｉ （ｔ＋１）＝ｆｉ （ｗｉ１ｕ１ （ｔ＋１）＋…
＋ｗｉｎｕｎ （ｔ＋１）＋ｗｉ，ｎ＋１ ｘ１（ｔ）＋…
＋ｗｉ，ｎ＋Ｋ ｘＫ （ｔ） ＋ｗｉ，ｎ＋Ｋ＋１ ｙ１（ｔ）＋…
＋ｗｉ，ｎ＋Ｋ＋ｍ ｙｍ （ｔ））
を評価する。
３．選択した更新ルールを適用して出力ユニットの状態を更新する。たとえば、（４）式を用いる場合には、各ｊ＝１，…，ｍに対して
ｙｊ （ｔ＋１）＝ｆｊ （ｗｊ１ｕ１ （ｔ＋１）＋…
＋ｗｊｎｕｎ （ｔ＋１）＋ｗｊ，ｎ＋１ ｘ１（ｔ）＋…
＋ｗｊ，ｎ＋Ｋ ｘＫ （ｔ） ＋ｗｊ，ｎ＋Ｋ＋１ ｙ１（ｔ）＋…
＋ｗｊ，ｎ＋Ｋ＋ｍ ｙｍ （ｔ））
を評価する。
４．選択した適応方法を用いて、各出力ユニットｊ＝１，…，ｍに対して荷重ｗｊ （ｔ） ＝（ｗｊ，１ （ｔ），…，ｗｊ，ｎ＋Ｋ＋ｍ （ｔ））をｗｊ （ｔ＋１）に更新する。ここで、例としてＬＭＳ法を説明する。これは以下のサブステップを備えている。
【０２１１】
ａ．誤差
【０２１２】
【数３４】
2004511866.tif 000034
【０２１３】
を計算する。［注意：これによって出力値誤差が得られ、結果として（４’）式のＭＳＥが最小化される。出力状態誤差を最小化するためには、これに代えて
【０２１４】
【数３５】
2004511866.tif 000035
【０２１５】
を用いる。］
【０２１６】
ｂ．ｗｊ （ｔ＋１）＝ｗｊ （ｔ） ＋μεｊ （ｔ＋１）ｘ（ｔ） とする。ここで、μは学習率であり、ｘ（ｔ） はステップ３の後に得られた全体のネットワークの状態（入力ユニット及び出力ユニットを含む）である。
【０２１７】
５．出力からＤＲへのフィードバック接続がある場合には、教師信号
【０２１８】
【数３６】
2004511866.tif 000036
【０２１９】
本発明の方法のオフラインバージョンの場合と同様に、この更新方式には多数の自明な変形が存在する。それらの違いは、更新の式（（４）式のいずれかのバージョン）、カスケードされた方式においてネットワークの一部が更新される順序、入力を与える方法等、である。これらの変形は本発明の方法にとって重要ではなく、上述の更新ステップの詳細な説明は１つの可能性を例示しているに過ぎない。
【図面の簡単な説明】
【図１】
本発明の好適な実施の形態の概略を簡単に示す図である。
【図２】
本発明の方法を簡単に適用してサイン発生ネットワークを得る第１の例から得られた様々なデータセットを教示する目的で示す図である。
【図３】
本発明の方法を適用して遅延線の形式で短時間記憶ネットワークを得る第２の例から得られた様々なデータセットを示す図である。
【図４】
本発明の方法を適用して単一の「ソリトン」教師信号から学習される励起可能媒体のモデルを得る第３の例から得られた接続構成と様々なデータセットとを示す図である。
【図５】
本発明の方法を適用して確率的時系列発生器を学習する第４の例から得られた様々なデータセットを示す図である。
【図６】
振り子用の状態フィードバック追跡コントローラの学習に適用されたネットワークの模式的構成と、この例で得られた様々なデータセットとを示すことにより第５の例を説明する図である。
【図７】
本発明の方法を適用して周波数計又は周波数発生器として使用することができる双方向装置を学習する第６の例から得られた様々なデータセットを示す図である。
【図４】
2004511866.tif 000039
【図６（ａ）】
2004511866.tif 000040
【図６（ｂ）】
2004511866.tif 000041
【国際公開パンフレット】
2004511866.tif 000042
2004511866.tif 000043
2004511866.tif 000044
2004511866.tif 000045
2004511866.tif 000046
2004511866.tif 000047
2004511866.tif 000048
2004511866.tif 000049
2004511866.tif 000050
2004511866.tif 000051
2004511866.tif 000052
2004511866.tif 000053
2004511866.tif 000054
2004511866.tif 000055
2004511866.tif 000056
2004511866.tif 000057
2004511866.tif 000058
2004511866.tif 000059
2004511866.tif 000060
2004511866.tif 000061
2004511866.tif 000062
2004511866.tif 000063
2004511866.tif 000064
2004511866.tif 000065
2004511866.tif 000066
2004511866.tif 000067
2004511866.tif 000068
2004511866.tif 000069
2004511866.tif 000070
2004511866.tif 000071
2004511866.tif 000072
2004511866.tif 000073
2004511866.tif 000074
2004511866.tif 000075
2004511866.tif 000076
2004511866.tif 000077
2004511866.tif 000078
2004511866.tif 000079
2004511866.tif 000080
2004511866.tif 000081
2004511866.tif 000082
2004511866.tif 000083
2004511866.tif 000084
2004511866.tif 000085
2004511866.tif 000086
2004511866.tif 000087
2004511866.tif 000088
2004511866.tif 000089
2004511866.tif 000090
2004511866.tif 000091
2004511866.tif 000092
2004511866.tif 000093
2004511866.tif 000094
2004511866.tif 000095
2004511866.tif 000096
2004511866.tif 000097
2004511866.tif 000098
2004511866.tif 000099
2004511866.tif 000100
2004511866.tif 000101
2004511866.tif 000102
2004511866.tif 000103
2004511866.tif 000104
2004511866.tif 000105
2004511866.tif 000106
2004511866.tif 000107
2004511866.tif 000108
2004511866.tif 000109
2004511866.tif 000110
2004511866.tif 000111
2004511866.tif 000112
2004511866.tif 000113
2004511866.tif 000114
2004511866.tif 000115
2004511866.tif 000116
2004511866.tif 000117
2004511866.tif 000118
2004511866.tif 000119
2004511866.tif 000120
2004511866.tif 000121
【国際公開パンフレット（コレクトバージョン）】
2004511866.tif 000122
2004511866.tif 000123
【国際調査報告】
2004511866.tif 000124
2004511866.tif 000125
2004511866.tif 000126