(57)【要約】【課題】学習していない新規なパターンを生成できるようにする。【解決手段】リカレント型ニューラルネットワーク１の入力層１１に、所定の時系列パターンに対応するデータｘｔを入力し、出力層１３から予測値ｘ＊ｔ＋１を得る。教師としてのデータｘｔ＋１と予測値ｘ＊ｔ＋１との差を、バックプロパケーション法により学習し、中間層１２の重み付け係数を所定の値に設定する。複数の時系列パターンを学習させた後、パラメトリックバイアスノード１１−２に学習時における値とは異なるパラメータを入力し、出力層１３から、そのパラメータに対応する学習していない時系列パターンを生成する。本発明は、ロボットに適用することができる。【選択図】　　　図９
2004030628.tif 000002
【特許請求の範囲】
【請求項１】
時系列パターンを出力する情報処理装置において、
時系列パターンを入力する入力手段と、
上記入力手段から入力された複数の上記時系列パターンのそれぞれについて、１つ以上の外部から操作可能な特徴量パラメータを有する共通の非線形力学系によるモデルを決定するモデル決定手段と、
決定された上記モデルに基づいて、上記特徴量パラメータの値を算出する演算手段と、
上記特徴量パラメータとして、上記演算手段により算出された値とは異なる値を設定し、上記特徴量パラメータの値を算出した上記演算の逆演算を行うことにより、新たな時系列パターンを出力する出力手段と
を有することを特徴とする情報処理装置。
【請求項２】
上記非線形力学系は、操作パラメータ付きリカレント型ニューラルネットワークである
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
上記特徴量パラメータは、上記時系列パターンの非線形力学系における力学構造を表す
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
上記出力手段は、入力された複数の上記時系列パターンと共有可能な力学構造を有する新たな時系列パターンを出力する
ことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
時系列パターンを出力する情報処理装置の情報処理方法において、
時系列パターンを入力する入力ステップと、
上記入力ステップの処理で入力された複数の上記時系列パターンのそれぞれについて、１つ以上の外部から操作可能な特徴量パラメータを有する共通の非線形力学系によるモデルを決定するモデル決定ステップと、
決定された上記モデルに基づいて、上記特徴量パラメータの値を算出する演算ステップと、
上記特徴量パラメータとして、上記演算ステップの処理により算出された値とは異なる値を設定し、上記特徴量パラメータの値を算出した上記演算の逆演算を行うことにより、新たな時系列パターンを出力する出力ステップと
を含むことを特徴とする情報処理方法。
【請求項６】
時系列パターンを出力する情報処理装置のプログラムであって、
時系列パターンを入力する入力ステップと、
上記入力ステップの処理で入力された複数の上記時系列パターンのそれぞれについて、１つ以上の外部から操作可能な特徴量パラメータを有する共通の非線形力学系によるモデルを決定するモデル決定ステップと、
決定された上記モデルに基づいて、上記特徴量パラメータの値を算出する演算ステップと、
上記特徴量パラメータとして、上記演算ステップの処理により算出された値とは異なる値を設定し、上記特徴量パラメータの値を算出した上記演算の逆演算を行うことにより、新たな時系列パターンを出力する出力ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが格納されているプログラム格納媒体。
【請求項７】
時系列パターンを出力する情報処理装置を制御するコンピュータのプログラムであって、
時系列パターンを入力する入力ステップと、
上記入力ステップの処理で入力された複数の上記時系列パターンのそれぞれについて、１つ以上の外部から操作可能な特徴量パラメータを有する共通の非線形力学系によるモデルを決定するモデル決定ステップと、
決定された上記モデルに基づいて、上記特徴量パラメータの値を算出する演算ステップと、
上記特徴量パラメータとして、上記演算ステップの処理により算出された値とは異なる値を設定し、上記特徴量パラメータの値を算出した上記演算の逆演算を行うことにより、新たな時系列パターンを出力する出力ステップと
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および方法、プログラム格納媒体、並びにプログラムに関し、特に、学習していない新規なパターンを出力することができるようにした情報処理装置および方法、プログラム格納媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
最近、人間や動物の脳に関する研究が盛んに行われている。脳のモデルとして、ニューラルネットワークを用いることができることが知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、ニューラルネットワークにおいては、所定のパターンを学習させると、その学習したパターンを識別することが可能であるが、新たなパターンを生成することができない課題があった。
【０００４】
本発明は、このような状況に鑑みてなされたものであり、学習していない新規なパターンを生成することができるようにするものである。
【０００５】
【課題を解決するための手段】
本発明の情報処理装置は、時系列パターンを入力する入力手段と、入力手段から入力された複数の時系列パターンのそれぞれについて、１つ以上の外部から操作可能な特徴量パラメータを有する共通の非線形力学系によるモデルを決定するモデル決定手段と、決定されたモデルに基づいて、特徴量パラメータの値を算出する演算手段と、特徴量パラメータとして、演算手段により算出された値とは異なる値を設定し、特徴量パラメータの値を算出した演算の逆演算を行うことにより、新たな時系列パターンを出力する出力手段とを有することを特徴とする。
【０００６】
上記非線形力学系は、操作パラメータ付きリカレント型ニューラルネットワークであるようにすることができる。
【０００７】
上記特徴量パラメータは、時系列パターンの非線形力学系における力学構造を表すようにすることができる。
【０００８】
上記出力手段は、入力された複数の時系列パターンと共有可能な力学構造を有する新たな時系列パターンを出力するようにすることができる。
【０００９】
本発明の情報処理方法は、時系列パターンを入力する入力ステップと、入力ステップの処理で入力された複数の時系列パターンのそれぞれについて、１つ以上の外部から操作可能な特徴量パラメータを有する共通の非線形力学系によるモデルを決定するモデル決定ステップと、決定されたモデルに基づいて、特徴量パラメータの値を算出する演算ステップと、特徴量パラメータとして、演算ステップの処理により算出された値とは異なる値を設定し、特徴量パラメータの値を算出した演算の逆演算を行うことにより、新たな時系列パターンを出力する出力ステップとを含むことを特徴とする。
【００１０】
本発明のプログラム格納媒体のプログラムは、時系列パターンを入力する入力ステップと、入力ステップの処理で入力された複数の時系列パターンのそれぞれについて、１つ以上の外部から操作可能な特徴量パラメータを有する共通の非線形力学系によるモデルを決定するモデル決定ステップと、決定されたモデルに基づいて、特徴量パラメータの値を算出する演算ステップと、特徴量パラメータとして、演算ステップの処理により算出された値とは異なる値を設定し、特徴量パラメータの値を算出した演算の逆演算を行うことにより、新たな時系列パターンを出力する出力ステップとを含むことを特徴とする。
【００１１】
本発明のプログラムは、時系列パターンを入力する入力ステップと、入力ステップの処理で入力された複数の時系列パターンのそれぞれについて、１つ以上の外部から操作可能な特徴量パラメータを有する共通の非線形力学系によるモデルを決定するモデル決定ステップと、決定されたモデルに基づいて、特徴量パラメータの値を算出する演算ステップと、特徴量パラメータとして、演算ステップの処理により算出された値とは異なる値を設定し、特徴量パラメータの値を算出した演算の逆演算を行うことにより、新たな時系列パターンを出力する出力ステップとを含むことを特徴とする。
【００１２】
本発明の情報処理装置および方法、プログラム格納媒体、並びにプログラムにおいては、入力された時系列パターンに対応する新たな時系列パターンが出力される。
【００１３】
【発明の実施の形態】
図１は、本発明を適用したリカレント型ニューラルネットワークの構成例を表している。このリカレント型ニューラルネットワーク（ＲＮＮ）１は、入力層１１、中間層（隠れ層）１２、および出力層１３により構成されている。これらの入力層１１、中間層１２、および出力層１３は、それぞれ任意の数のニューロンにより構成されている。
【００１４】
入力層１１の一部のニューロン１１−１には、時系列パターンに関するデータｘｔが入力される。具体的には例えば、カメラ画像等を基に画像処理により得られる人間の身体運動パターン（例えば、手先位置の運動軌道等）などの時系列パターンに関するデータである。Ｐｔはベクトルであり次元は時系列パターンにより任意である。入力層１１の一部のニューロンであるパラメトリックバイアスノード１１−２には、パラメータＰｔが入力される。パラメトリック・バイアス・ノードの数は、１つ以上である。そのノード数は、リカレント・ニューラル・ネットを構成し、かつ、モデル決定手段のパラメータであるウェイト・マトリックスの数を決定するニューロンの総数に対して、十分に小さいことが望ましい。本実施の形態では、前記ニューロン総数約５０個に対して、パラメトリック・バイアス・ノードの数は約１〜２個である。ただし、本願発明がこの数に限定されないことは言うまでもない。パラメトリックバイアスノードは、非線形力学系における力学構造をモジュレーションするものであり、本実施の形態においては、リカレント型ニューラルネットワークが保持する力学構造をモジュレーションする働きをするノードである。ただし、本発明がリカレント型ニューラルネットワークに限定されるものではない。さらに、入力層１１の一部のニューロン１１−３には、出力層１３の一部のニューロン１３−２より出力されたデータが、ＲＮＮ１の内部の状態を表すコンテキストＣｔとしてフィードバックされている。コンテキストＣｔについては、リカレント型ニューラルネットワークに関する一般的用語であり、参考文献（Ｅｌｍａｎ，　Ｊ．Ｌ．　（１９９０）．　Ｆｉｎｄｉｎｇ　ｓｔｒｕｃｔｕｒｅ　ｉｎ　ｔｉｍｅ．　Ｃｏｇｎｉｔｉｖｅ
Ｓｃｉｅｎｃｅ，　１４，　１７９−２１１）等を参照されたい。
【００１５】
中間層１２のニューロンは、入力されたデータに対して重み付け加算処理を行い、順次後段に出力する処理を実行する。すなわち、データｘｔ，Ｐｔ，ｃｔに対して所定の重み付け係数に対する演算処理（非線形関数に基づく演算処理）を行った後、出力層１３に出力する。本実施の形態では例えば、データｘｔ，Ｐｔ，ｃｔの所定の重み付け和の入力に対して、シグモイド関数等の非線形出力特性を有する関数に基づく演算処理を行った後、出力層１３に出力する。
【００１６】
出力層１３を構成する一部のニューロン１３−１は、入力データに対応するデータｘ＊ｔ＋１を出力する。
【００１７】
また、ＲＮＮ１は、バックプロパケーションによる学習のため、演算器２１を有している。演算部２２は、ＲＮＮ１に対する重み付け係数の設定処理を行う。
【００１８】
次に、図２のフローチャートを参照して、ＲＮＮ１の学習処理について説明する。
【００１９】
図２のフローチャートに示される処理は、学習させる時系列パターン毎に実行される。換言すれば、学習する時系列パターンの数だけ仮想的なＲＮＮが用意され、各仮想ＲＮＮ毎に図２の処理が実行される。
【００２０】
仮想的なＲＮＮ毎に図２のフローチャートに示される処理が実行され、仮想ＲＮＮ毎に時系列パターンが学習された後、実際のＲＮＮ１に対して、係数を設定する処理が実行される。ただし、以下の説明では、仮想的なＲＮＮも、実際のＲＮＮ１として説明する。
【００２１】
最初に、ステップＳ１１において、ＲＮＮ１の入力層１１のニューロン１１−１は、所定の時刻ｔの入力ｘｔを取り込む。ステップＳ１２において、ＲＮＮ１の中間層１２は、入力ｘｔに対して、重み付け係数に対応する演算処理を行い、出力層１３のニューロン１３−１から、入力された時系列パターンにおける時系列ｔ＋１の値の予測値ｘ＊ｔ＋１を出力する。
【００２２】
ステップＳ１３において、演算部２１は、次の時刻ｔ＋１の入力ｘｔ＋１を教師データとして取り込む。ステップＳ１４において、演算部２１は、ステップＳ１３の処理で取り込んだ教師入力ｘｔ＋１と、ステップＳ１２の処理で演算して得た予測値ｘ＊ｔ＋１の誤差を演算する。
【００２３】
ステップＳ１５において、ＲＮＮ１は、ステップＳ１４の処理で演算して得た誤差を出力層１３のニューロン１３−１から入力し、中間層１２、さらに入力層１１の順に伝搬することで、学習処理を行い、演算結果ｄＸｂｐｔを得る。
【００２４】
ステップＳ１６において、中間層１２は、式（１）に基づいて、内部状態の修正値ｄＸＵを得る。
【００２５】
【数１】
2004030628.tif 000003
【００２６】
さらに、中間層１２は、式（２）乃至式（４）に基づいて、修正値ｄＸＵを修正する。
【数２】
2004030628.tif 000004
【数３】
2004030628.tif 000005
【００２７】
ステップＳ１７において、パラメトリックノード１１−２は、その内部状態の値を保存する処理を実行する。
【００２８】
次に、ステップＳ１８において、ＲＮＮ１は、学習処理を終了するか否かを判定し、まだ学習処理を終了しない場合には、ステップＳ１１に戻り、それ以降の処理を繰り返し実行する。
【００２９】
ステップＳ１８において、学習処理を終了すると判定された場合、学習処理が終了される。
【００３０】
以上のような学習処理を行うことで、仮想ＲＮＮに対して１つの時系列パターンが学習される。
【００３１】
以上のようにして、学習パターンの数に対応する仮想ＲＮＮの学習処理が行われた後、その学習処理により得られた重み付け係数を、実ＲＮＮ３１に設定する処理が行われる。図３は、この場合の処理を表している。
【００３２】
演算部２２は、ステップＳ２１において、仮想ＲＮＮ毎に図２のフローチャートに示される処理を実行した結果得られた係数の合成値を演算する。この合成値としては、例えば、平均値を用いることができる。すなわち、各仮想ＲＮＮの重み付け係数の平均値がここで演算される。
【００３３】
次に、ステップＳ２２において、演算部２２は、ステップＳ２１の処理で演算した合成値（平均値）を実ＲＮＮ１のニューロンに対して、重み付け係数として設定する処理を実行する。
【００３４】
これにより、実際のＲＮＮ１の中間層１２の各ニューロンに、複数の時系列パターンを学習して得た係数が設定されることになる。
【００３５】
中間層１２の各ニューロンの重み付け係数には、複数の教示時系列パターンを生成する上で、共有可能な力学構造に関する情報が保持され、パラメトリックバイアスノードには、共有可能な力学構造を各教示時系列パターンの生成に適した力学構造に切り替えるために、必要な情報が保持されることになる。ここで、「共有可能な力学構造」をさらに例をあげて説明する。例えば、図４Ａ乃至図４Ｃに示されるように、振幅は異なるが周期が同じ時系列パターンＡと時系列パターンＢが入力された場合には、出力時系列パターンＣの周期が共有可能な力学構造にあたり、また、図５Ａ乃至図５Ｃに示されるように、周期は異なるが振幅は同じ時系列パターンＡと時系列パターンＢが入力された場合には、出力時系列パターンＣの振幅が共有可能な力学構造に該当する。ただし、本願発明がこれに限定されるものでないのは言うまでもない。
【００３６】
例えば、図６に示されるように、第１のデータを入力し、学習させることで、比較的大きな振幅を有する曲線Ｌ１で表される時系列パターンが学習される。
【００３７】
同様に、図７に示されるように、第２のデータを入力し、学習させることで、曲線Ｌ２で示される、比較的小さい振幅を有する時系列パターンが学習される。
【００３８】
このような時系列パターンの学習を行った後、ＲＮＮ１に新たな時系列パターンを発生させる場合、図８のフローチャートに示されるような処理が実行される。
【００３９】
すなわち、最初に、ステップＳ３１において、パタメトリックバイアスノード１１−２は、学習時と異なるパラメータを入力する。ステップＳ３２において、中間層１２は、ステップＳ３１の処理で、パタメトリックバイアスノード１１−２に入力されたパラメータに対して、重み付け係数に基づく演算を行う。具体的には、学習時にパラメータの値を算出するときに行った演算の逆演算にあたる。そして、ステップＳ３３において、ＲＮＮ１のニューロン１３−１は、ステップＳ３１の処理で入力されたパラメータに対応するパターンを出力する。
【００４０】
図９は、ＲＮＮ１に対して、図６と図７に示される時系列パターンを学習させた後、ＲＮＮ１のパラメトリックバイアスノード１１−２にパラメータＰｔとしてパラメータＰＮを入力した場合の例を表している。このパラメータＰＮは、図６のパターン学習時においてパラメトリックバイアスノード１１−２に出力されるパラメータＰＡ、並びに図７に示される時系列パターン学習時に出力されるパラメータＰＢとは異なる値とされている。すなわち、この例の場合、パラメータＰＮの値は、パラメータＰＡとパラメータＰＢの値の中間の値とされている。
【００４１】
このような場合、出力層１３のニューロン１３−１から出力される時系列パターンは、図９に曲線Ｌ３で示される時系列パターンとなる。この曲線Ｌ３の振幅は、図６に示される時系列パターンＡの曲線Ｌ１の振幅より小さく、図７に示される時系列パターンＢの曲線Ｌ２の振幅より大きい値となっている。換言すれば、曲線Ｌ３の振幅は、曲線Ｌ１の振幅と曲線Ｌ２の振幅の中間の値となっている。すなわち、この例においては、図６と図７に示される曲線Ｌ１と曲線Ｌ２の中間の曲線Ｌ３が線形的に補間されたことになる。
【００４２】
以下に、実験の結果について、図１０乃至図２８を参照して説明する。
【００４３】
図１０乃至図１３は、第１の時系列パターンを学習させた場合のエラー（図１０）、ターゲット（入力データ）（図１１）、出力（図１２）、およびパラメトリックバイアス（パラメータ）（図１３）を、それぞれ表している。各図の縦軸は、それぞれの値（正規化された値）を表し、横軸は、ステップを表している。
【００４４】
第１のパターン学習時においては、図１０に示されるように、エラーは直線Ｌ１１で示されるように、ほぼ０．０である。図１１に示されるように、ターゲット（入力パターン）は、直線Ｌ１２で示される正弦波である。
【００４５】
図１１に示されるターゲットに対応する出力は、図１２に曲線Ｌ１３で示されるように、ターゲットとしての曲線Ｌ１２にほぼ対応する曲線（正弦波）となっている。
【００４６】
図１３に示されるように、２つのパラメトリックバイアス（パラメータ）の値の一方は、曲線Ｌ１４で示されるように、ほぼ０．３７の値で収束し、他方は、曲線Ｌ１５で示されるように、ほぼ０．０で一定となっている。
【００４７】
図１４乃至図１７は、第２の時系列パターンを学習した場合におけるエラー（図１４）、ターゲット（図１５）、出力（図１６）、およびパラメトリックバイアス（パラメータ（図１７））をそれぞれ表している。
【００４８】
図１４に示されるように、エラーは、直線Ｌ２１で示されるように、ほぼ０．０で一定である。ターゲットは、図１５に曲線Ｌ２２で示されるように、ほぼ正弦波状の時系列パターンとなっている。図１５は、図１１と比較して明かなように、曲線Ｌ２２の振幅は、曲線Ｌ１２の振幅とほぼ同一であるが、曲線Ｌ２２の周期は、曲線Ｌ１２の周期より長くなっている（周波数が低くなっている）。
【００４９】
図１５に示されるターゲットに対応して、図１６に示されるように、曲線Ｌ２２にほぼ対応する曲線２３の出力が得られている。
【００５０】
図１７に示されるように、第２の時系列パターンを学習した場合における２つのパラメトリックバイアスのうちの一方の値は、曲線Ｌ２４で示されるように、ほぼ０．３６の値に収束し、他方の値は、曲線Ｌ２５で示されるように、０．６７の値にほぼ収束する。
【００５１】
図１８乃至図２１は、第３の時系列パターンを学習した場合におけるエラー（図１８）、ターゲット（図１９）、出力（図２０）、およびパラメトリックバイアス（図２１）を、それぞれ表している。
【００５２】
図１８に示されるように、学習時におけるエラーは、曲線Ｌ３１で示されるように、ほぼ０．０である。ターゲットは、曲線Ｌ３２で示されるように、ほぼ正弦波状の信号とされる。曲線Ｌ３２を図１１の曲線Ｌ１２、および図１５の曲線Ｌ２２と比較して明かなように、曲線Ｌ３２の振幅は、曲線Ｌ１２および曲線Ｌ２２の振幅とほぼ同一であるが、その周期は、曲線Ｌ２２における場合よりさらに長くなっている（周波数はＬ２２における場合より低くなっている）。
【００５３】
図２０に示されるように、出力の曲線Ｌ３３は、図１９のターゲットの曲線ＬＬ３２にほぼ対応した正弦波状となっている。
【００５４】
図２１に示されるように、第３の時系列パターンを学習した場合におけるパラメトリックバイアスの値の一方の値は、曲線Ｌ３４で示されるように、ほぼ０．２１となり、他方の値は、曲線Ｌ３５で示されるように、１．００でほぼ一定となっている。
【００５５】
図１１、図１５、および図１９に示されるような３つの時系列パターンをＲＮＮ１に学習させた後、ＲＮＮ１のパラメトリックバイアスノード１１−２にパラメトリックバイアス（パラメータ）として（０．３６，０３６）の２つの値を入力した場合、出力層１３を構成するニューロン１３−１から、図２２に示されるように、曲線Ｌ４１で示される時系列パターンが出力された。
【００５６】
同様に、パラメータとして（０．８０，０．２５）の値を入力したとき、図２３に示されるように、曲線Ｌ５１のパターンが得られた。比較のために、図２４乃至図２６に、図１１、図１５、および図１９に示されるターゲットの時系列パターンを示している。
【００５７】
これらの図を比較して明かなように、図２２の曲線Ｌ４１の振幅は、図２４乃至図２６の曲線Ｌ１３，Ｌ２３，Ｌ３３の新福とほぼ同一である。しかしながら、曲線Ｌ４１の周期は、図２４の曲線Ｌ１３の周期より長く、図２５の曲線Ｌ２２の周期より短くなっている。
【００５８】
これは、図２２のパラメータ（０．３６，０．３６）が、図２４のパラメータ（０．００，０．３７）と図２５のパラメータ（０．６７，０．３６）の中間の値であることに起因する。
【００５９】
また、図２３の曲線Ｌ５１は、その振幅は、図２４乃至図２６の曲線Ｌ１３，Ｌ２３，Ｌ３３とほぼ同一であるが、その周期は、図２５の曲線Ｌ２２のそれより長く、図２６の曲線Ｌ３２のそれより短い値となっている。
【００６０】
これは、図２３のパラメータ（０．８０，０．２５）の値が、図２５のパラメータ（０．６７，０．３６）と図２６のパラメータ（１．００，０．０１）の中間の値であることに起因する。
【００６１】
図２７は、パラメトリックバイアスのうちの一方の値を横軸に、他方の値を縦軸に取った場合の周期のグラフを表している。同図における点Ａ１，Ａ２，Ａ３，Ｂ１，Ｂ２は、それぞれ図２４（Ａ１）、図２５（Ａ２）、図２６（Ａ３）、図２２（Ｂ１）、図２３（Ｂ２）における、それぞれのパラメータの値をプロットしたものである。図２７において、同じ濃度は、同じ周期であることを表している。色の差がグラデーションしていることは、周期がパラメトリックバイアスの値に応じて、滑らかに変化していることを意味する。
【００６２】
図２８は、２つのパラメトリックバイアスに対応する振幅の変化を表している。この図からも明かなように、パラメトリックバイアスに対応して、振幅がほぼ滑らかに変化している。
【００６３】
以上においては、線形的な時系列パターンを学習させるようにしたが、非線形の時系列パターンを学習させた場合にも、同様の結果が得られた。
【００６４】
すなわち、図２９に示されるように、曲線Ｌを６１で示される時系列パターンと、図３０に示されるように、曲線Ｌ６２で示される時系列パターンとを、ＲＮＮ１に学習させた後、図３１に示されるように、パラメータとして、図２９の曲線Ｌ６１を学習したとき得られるパラメータＰＣと、図３０の曲線Ｌ６２のパターンを学習させた場合に得られるパターンＰＤと異なるパラメータＰＭを、ＲＮＮ１のパラメトリックバイアスノード１１−２に入力すると、曲線Ｌ６３で示されるように、図２９の曲線Ｌ６１、並びに図３０に示される曲線Ｌ６２のいずれとも異なる新規なパターンを生成することができる。
【００６５】
以下に、具体的な実験例について説明する。
【００６６】
図３２乃至図３５は、第４のパターンを学習させた場合におけるエラー（図３２）、ターゲット（図３３）、出力（図３４）、およびパラメトリックバイアス（図３５）を、それぞれ表している。
【００６７】
第４の時系列パターン学習時におけるエラーは、曲線Ｌ７１で示されるように、ほぼ０．０である。ターゲットは、曲線Ｌ７２で示されるように、正弦波とされる。対応する出力は、曲線Ｌ７３で示される。この曲線Ｌ７３は、ほぼ曲線Ｌ７２に対応している。
【００６８】
この場合に得られるパラメトリックバイアスのうちの一方の値は、曲線Ｌ７４で示されるように、１．００であり、他方の値は、曲線Ｌ７５で示されるように、０．７９である。
【００６９】
図３６乃至図３９は、第５のパターン学習時におけるエラー（図３６）、ターゲット（図３７）、出力（図３８）、およびパラメトリックバイアス（図３９）を、それぞれ表している。
【００７０】
図３６に示されるように、学習時におけるエラーは、曲線Ｌ８１で示されるように、ほぼ０．０である。
【００７１】
ターゲットは、図３７の曲線Ｌ８２で示されるように、図３３の曲線Ｌ７２で示される綺麗な正弦波とは異なる変形した（歪んだ）正弦波となっている。
【００７２】
図３８に示されるように、図３７で示されるターゲットに対応する曲線Ｌ８３で示される出力が得られている。
【００７３】
この学習時において、得られるパラメトリックバイアス値は、一方の値は、曲線Ｌ８４で示されるように、０．１２に収束し、他方の値は、曲線Ｌ８５で示されるように、ほぼ０．６０で収束している。
【００７４】
ＲＮＮ１に対して、図３３と図３７に示される２つの時系列パターンを学習させた後、パラメトリックバイアスノード１１−２に、パラメトリックバイアス（０．１２，０．６８）を入力した場合、図４０に曲線Ｌ９１で示される出力が得られた。
【００７５】
同様に、パラメトリックバイアス（０．２５，０．５９）を与えた場合、図４１に曲線Ｌ９２で示される出力が得られ、パラメトリックバイアス（０．５０，０．６０）を与えた場合、図４２に曲線Ｌ９３で示される出力が得られた。
【００７６】
図４０乃至図４２の出力と比較するために、パラメトリックバイアス（１．００，０．７９）またはパラメトリックバイアス（０．１２，０．６０）を与えた場合の出力が、図４３と図４４に示されている。すなわち、図４３の出力は、図３４の出力と同一であり、図４４の出力は、図３８の出力と同一である。
【００７７】
このように、この例の場合においては、非線形的な演算処理がパラメータに対応して行われていることになる。
【００７８】
図４５は、パラメトリックバイアスに対応する周期の変化を表している。図４６は、同様に、パラメトリックバイアスに対応する振幅の変化を表している。これらの図においても、図２７と図２８における場合と同様に、同一の濃度は、同一の周期または振幅を表している。また、図４５と図４６において、Ａ１，Ａ２，Ｂ１，Ｂ２，Ｂ３は、それぞれ図４３、図４４、図３０、図４１、および図４２のパラメータをプロットしたものである。
【００７９】
図４５と図４６からも明かなように、非線形の演算処理が行われる場合にも、パラメータに対応して、ほぼ滑らかに周期と振幅が変化している。
【００８０】
このように、複数の時系列パターンを学習させた後、所定のパラメータを入力することで、学習させた時系列パターンとは異なる新たな時系列パターンを、線形的または非線形的補間により生成、出力することができる。
【００８１】
なお、パラメトリックバイアスは、ＲＮＮ１が生成する時空間パターンを切り替えるパラメータである。このパラメータと、それにより生成される時空間パターンとの関係は、予め与えられるものではなく、教示時空間パターンの学習により決定される。
【００８２】
本発明は、例えば、ヒューマロイド型のロボットにおける「ものまね運動学習」に応用することができる。これにより、ロボットが人から教示された複数の運動パターン（ダンスなど）を学習し、それらの運動を再現することができるだけでなく、複数の教示運動パターンの間に共通する特徴を抽出し、それに基づく新規な運動パターンを生成することが可能となる。
【００８３】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、図４７に示されるようなパーソナルコンピュータ１６０が用いられる。
【００８４】
図４７において、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１６１は、ＲＯＭ（Ｒｅａｄ　ＯｎｌｙＭｅｍｏｒｙ）１６２に記憶されているプログラム、または記憶部１６８からＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１６３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１６３にはまた、ＣＰＵ１６１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００８５】
ＣＰＵ１６１、ＲＯＭ１６２、およびＲＡＭ１６３は、バス１６４を介して相互に接続されている。このバス１６４にはまた、入出力インタフェース１６５も接続されている。
【００８６】
入出力インタフェース１６５には、キーボード、マウスなどよりなる入力部１６６、ＣＲＴ，ＬＣＤなどよりなるディスプレイ、並びにスピーカなどよりなる出力部１６７、ハードディスクなどより構成される記憶部１６８、モデム、ターミナルアダプタなどより構成される通信部１６９が接続されている。通信部１６９は、ネットワークを介しての通信処理を行う。
【００８７】
入出力インタフェース１６５にはまた、必要に応じてドライブ１７０が接続され、磁気ディスク１７１、光ディスク１７２、光磁気ディスク１７３、或いは半導体メモリ１７４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１６８にインストールされる。
【００８８】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、パーソナルコンピュータ１６０に、ネットワークや記録媒体からインストールされる。
【００８９】
この記録媒体は、図４７に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１７１（フロッピディスクを含む）、光ディスク１７２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ−Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）を含む）、光磁気ディスク１７３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）を含む）、もしくは半導体メモリ１７４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ１６２や、記憶部１６８に含まれるハードディスクなどで構成される。
【００９０】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００９１】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００９２】
【発明の効果】
以上の如く、本発明によれば、時系列パターンを発生させることができる。また、発生させる時系列パターンを、新たな時系列パターンとすることができる。
【図面の簡単な説明】
【図１】本発明を適用したリカレント型ニューラルネットワークの構成を示す図である。
【図２】図１のリカレント型ニューラルネットワークの学習処理を説明するフローチャートである。
【図３】図１のリカレント型ニューラルネットワークの係数設定処理を説明するフローチャートである。
【図４】振幅が異なり、同期が同じ時系列パターンの例を示す図である。
【図５】周期が異なり、振幅が同じ時系列パターンの例を示す図である。
【図６】学習パターンの例を示す図である。
【図７】学習パターンの例を示す図である。
【図８】図１のリカレント型ニューラルネットワークの時系列パターン生成処理を説明するフローチャートである。
【図９】生成する時系列パターンの例を示す図である。
【図１０】第１のパターンを学習させる場合におけるエラーの変化を示す図である。
【図１１】第１のパターンを学習させる場合におけるターゲットを示す図である。
【図１２】第１のパターンを学習させる場合における出力を示す図である。
【図１３】第１のパターンを学習させる場合におけるパラメトリックバイアスの変化を示す図である。
【図１４】第２のパターンを学習させる場合におけるエラーの変化を示す図である。
【図１５】第２のパターンを学習させる場合におけるターゲットを示す図である。
【図１６】第２のパターンを学習させる場合における出力を示す図である。
【図１７】第２のパターンを学習させる場合におけるパラメトリックバイアスの変化を示す図である。
【図１８】第３のパターンを学習させる場合におけるエラーの変化を示す図である。
【図１９】第３のパターンを学習させる場合におけるターゲットを示す図である。
【図２０】第３のパターンを学習させる場合における出力を示す図である。
【図２１】第３のパターンを学習させる場合におけるパラメトリックバイアスの変化を示す図である。
【図２２】生成したパターンの例を示す図である。
【図２３】生成したパターンの他の例を示す図である。
【図２４】図１２に対応する出力を示す図である。
【図２５】図１６に対応する出力を示す図である。
【図２６】図２０に対応する出力を示す図である。
【図２７】図２２乃至図２６のパターンの周期の変化とパラメトリックバイアスの関係を示す図である。
【図２８】図２２乃至図２６のパターンの振幅の変化とパラメトリックバイアスの関係を示す図である。
【図２９】学習させるパターンの例を示す図である。
【図３０】学習させるパターンの他の例を示す図である。
【図３１】図２９と図３０に示すパターンを学習させた場合に生成されるパターンを示す図である。
【図３２】第４のパターンを学習させる場合におけるエラーの変化を示す図である。
【図３３】第４のパターンを学習させる場合におけるターゲットを示す図である。
【図３４】第４のパターンを学習させる場合における出力を示す図である。
【図３５】第４のパターンを学習させる場合におけるパラメトリックバイアスの変化を示す図である。
【図３６】第５のパターンを学習させる場合におけるエラーの変化を示す図である。
【図３７】第５のパターンを学習させる場合におけるターゲットを示す図である。
【図３８】第５のパターンを学習させる場合における出力を示す図である。
【図３９】第５のパターンを学習させる場合におけるパラメトリックバイアスの変化を示す図である。
【図４０】生成されたパターンの例を示す図である。
【図４１】生成されたパターンの例を示す図である。
【図４２】生成されたパターンの例を示す図である。
【図４３】図３４に対応する出力を示す図である。
【図４４】図３８に対応する出力を示す図である。
【図４５】図４０乃至図４４のパターンの周期のパラメトリックバイアスとの関係を示す図である。
【図４６】図４０乃至図４４のパターンの振幅とパラメトリックバイアスとの関係を示す図である。
【図４７】本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
１　リカレント型ニューラルネットワーク，　１１　入力層，　１２　中間層，　１３　出力層，　２１　演算部
【図１】
2004030628.tif 000006
【図２】
2004030628.tif 000007
【図３】
2004030628.tif 000008
【図４】
2004030628.tif 000009
【図５】
2004030628.tif 000010
【図６】
2004030628.tif 000011
【図７】
2004030628.tif 000012
【図８】
2004030628.tif 000013
【図９】
2004030628.tif 000014
【図１０】
2004030628.tif 000015
【図１１】
2004030628.tif 000016
【図１２】
2004030628.tif 000017
【図１３】
2004030628.tif 000018
【図１４】
2004030628.tif 000019
【図１５】
2004030628.tif 000020
【図１６】
2004030628.tif 000021
【図１７】
2004030628.tif 000022
【図１８】
2004030628.tif 000023
【図１９】
2004030628.tif 000024
【図２０】
2004030628.tif 000025
【図２１】
2004030628.tif 000026
【図２２】
2004030628.tif 000027
【図２３】
2004030628.tif 000028
【図２４】
2004030628.tif 000029
【図２５】
2004030628.tif 000030
【図２６】
2004030628.tif 000031
【図２７】
2004030628.tif 000032
【図２８】
2004030628.tif 000033
【図２９】
2004030628.tif 000034
【図３０】
2004030628.tif 000035
【図３１】
2004030628.tif 000036
【図３２】
2004030628.tif 000037
【図３３】
2004030628.tif 000038
【図３４】
2004030628.tif 000039
【図３５】
2004030628.tif 000040
【図３６】
2004030628.tif 000041
【図３７】
2004030628.tif 000042
【図３８】
2004030628.tif 000043
【図３９】
2004030628.tif 000044
【図４０】
2004030628.tif 000045
【図４１】
2004030628.tif 000046
【図４２】
2004030628.tif 000047
【図４３】
2004030628.tif 000048
【図４４】
2004030628.tif 000049
【図４５】
2004030628.tif 000050
【図４６】
2004030628.tif 000051
【図４７】
2004030628.tif 000052