(57)【特許請求の範囲】
【請求項１】
脳の精神的な機能をモデル化した人工ニューラルネットワーク構造の形成方法において、
入力パターンベクトルを一時的に記憶するための短期記憶型ニューラルネットワークを形成するステップと、
前記短期記憶型ニューラルネットワークの出力ベクトルに基づいて、通常出力用の長期記憶型ニューラルネットワークを形成するステップと、
前記通常出力用の長期記憶型ニューラルネットワーク内のニューロンを移動して、階層的な通常出力用の長期記憶型ニューラルネットワーク群を順次形成するステップとを含み、
前記短期記憶型ニューラルネットワークを形成するステップは、
入力パターンベクトルをセントロイドベクトルとして持つ、ラジアル基底関数としてのニューロンを追加することを繰り返して、単一階層をなす複数のニューロンを配置し、前記入力パターンベクトルに対する前記複数のニューロンの発火の強さに応じて前記複数のニューロンのうちの１つを選択する選択ユニットを有する、前記短期記憶型ニューラルネットワークを形成し、
前記通常出力用の長期記憶型ニューラルネットワークを形成するステップは、
前記短期記憶型ニューラルネットワークの出力ベクトルをセントロイドベクトルとして、ラジアル基底関数としてのニューロンに割り当てることにより、複数のラジアル基底関数をそれぞれニューロンとして持つ一般回帰型ニューラルネットワークを、前記通常出力用の長期記憶型ニューラルネットワークとして生成し、
前記階層的な通常出力用の長期記憶型ニューラルネットワーク群を順次形成するステップは、
前記通常出力用の長期記憶型ニューラルネットワークのニューロンの個数がMLTM個に達したとき、前記ニューロンの発火の強さに応じて前記ニューロンのうちの１つを移動することにより、前記階層的な通常出力用の長期記憶型ニューラルネットワーク群を順次形成する
ことを特徴とする、人工ニューラルネットワーク構造の形成方法。
【請求項２】
前記通常出力用の長期記憶型ニューラルネットワーク群内の全てのニューロンのうち最も発火の強いニューロンをカウントし、最も大きい発火回数を有するN個のニューロンを移動して、前記入力パターンベクトルが直接入力される直感型出力用の長期記憶型ニューラルネットワークを形成するステップをさらに含むことを特徴とする、請求項１記載の人工ニューラルネットワーク構造の形成方法。
【請求項３】
前記通常出力用の長期記憶型ニューラルネットワーク群内の全てのニューロンのうち発火した回数が最も大きいｍ個のニューロンを前記短期記憶型ニューラルネットワークのニューロンとしてフィードバックさせるステップをさらに含むことを特徴とする、請求項１記載の人工ニューラルネットワーク構造の形成方法。
【請求項４】
所定のタイミングで、前記通常出力用の長期記憶型ニューラルネットワーク群を再構築するステップをさらに含むことを特徴とする、請求項１記載の人工ニューラルネットワーク構造の形成方法。
【請求項５】
前記通常出力用の長期記憶型ニューラルネットワーク群の出力を前記短期記憶型ニューラルネットワークの入力パターンベクトルとして再度入力することにより、前記通常出力用の長期記憶型ニューラルネットワーク群を再構築することを特徴とする、請求項４記載の人工ニューラルネットワーク構造の形成方法。
【請求項６】
前記短期記憶型ニューラルネットワークを形成するステップは、追加したニューロンの個数がMSTM個に達した以降は、前記入力パターンベクトルに対する追加済みのニューロンの発火の強さに応じて、前記入力パターンベクトルをセントロイドベクトルとして持つ、ラジアル基底関数としてのニューロンを、前記追加済みのニューロンのうちの１つと置換する
ことを特徴とする請求項１乃至５のいずれか一項に記載の人工ニューラルネットワーク構造の形成方法。
【請求項７】
請求項１乃至６のいずれか記載の方法をコンピュータに対して実行させることを特徴とする、人工ニューラルネットワーク構造の形成プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、脳の機能のうち精神的な活動に関連した機能のモデル化に係り、とりわけ、「直感（intuition）」や「意識（consciousness）」といった脳の精神的な機能を比較的簡単な人工ニューラルネットワークモデル（神経回路モデル）を用いて具現化することができる、人工ニューラルネットワーク構造の形成方法に関する。なお、本発明は、(1)知能ロボティックスのシステム部への応用、(2)パターン認識装置（セキュリティシステム（指紋判定／音声・数字認識等）や画像診断システム）への応用、さらには(3)一般家電製品への応用、といった様々な応用分野で利用することが可能である。
【０００２】
【従来の技術】
人工ニューラルネットワークにより、実際の脳の感情的・精神的な活動に対する働き（notions）を解釈処理することは、非常に挑戦的な課題である。これまで、脳の機能のうち感情的・精神的な活動に関連した機能の働きの解釈をめぐり、生物学から哲学までの多くの学派にまたがり歴史的な議論が展開されてきた。現在、コンピュータ技術の進歩に加えて生物学的な研究の進展により、我々が近い将来に到達することが期待されるものの一つ、すなわち「脳型」コンピュータの開発が行われている。
【０００３】
脳型コンピュータの開発に向けての、鍵となるアプローチの一つは、『人工ニューラルネットワークによって「直感」の働きを解明することにある』、と言われている（文献[1]参照）。
【０００４】
他方、「意識」状態の具体的なモデル化については、最近、特に、ロボティクスの分野において様々な議論がされている（文献[2]〜文献[5]参照）。そのようなモデル化の一例として、「意識」のモデルを用いて実際の動物の振る舞いを模した動きを実現した知能ロボットが提案されている（文献[5]参照）。また、「意識」の振る舞いをモデル化した仮想的な機械も考案されている（文献[2]参照）。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の人工ニューラルネットワークでは、「直感」の働きをモデル化する具体的な手法が確立しておらず、また、「意識」状態のモデル化についてもそれを明瞭に説明し得る手法は存在していない。
【０００６】
本発明は、このような背景の下でなされたものであり、脳の精神的な機能である「直感」および「意識」状態を比較的簡単な人工ニューラルネットワークモデルを用いて具現化することができる、人工ニューラルネットワーク構造の形成方法、およびその方法を実現する人工ニューラルネットワーク構造の形成プログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
＜本発明の前提＞
本発明は、脳の精神的な機能をモデル化するための基礎として、短期記憶（short-term memory (ＳＴＭ)）モデルおよび長期記憶（long-term memory (ＬＴＭ)）モデルという２つの記憶モデルを備えた階層的な記憶システムからなる重構造化一般回帰型ニューラルネットワーク（hierarchically arranged generalized regression neural networks (ＨＡ−ＧＲＮＮ)）を新しく提案し、その発展プロセスを用いて「直感」および「意識」状態を説明および具現化するものである。
【０００８】
ここで、重構造化一般回帰型ニューラルネットワーク（ＨＡ−ＧＲＮＮ）の前提となる一般回帰型ニューラルネットワーク（generalized regression neural network (ＧＲＮＮ)）（文献[6]参照）は、既存の人工ニューラルネットワーク理論の一つであり、ラジアル基底関数ニューラルネットワーク（radial basis function neural network (ＲＢＦ−ＮＮ)）（文献[7]参照）のカテゴリーに属するものである。しかしながら、ＧＲＮＮは、一般的なＲＢＦ−ＮＮと異なり、中間層ニューロンであるラジアル基底関数（radial basis function (ＲＢＦ)）と出力層ニューロンとの間の重みベクトル（weight vector）が目的ベクトル（target vector）と同一のものとして与えられる、という特徴を有している。このような魅力的な特徴のため、動的ニューラルシステム（dynamic neural system）を複雑な数学的な演算を伴うことなくモデル化することができる。なお、このような動的ニューラルシステムの一例として、生物学的な動機付けによる、短期記憶モデルおよび長期記憶モデルという２つのモデルの概念を導入した、２段階の記憶システムも提案されている（文献[8]参照）。この２段階の記憶システムは、ディジタル音声認識タスクおよびディジタル文字認識タスクの両方におけるオンラインのバッチ式パターン補正のためのＧＲＮＮパターン分類システムに組み込まれて用いられている。
【０００９】
なお、ＲＢＦ−ＮＮはしばしば、ガウス混合モデル（gaussian mixture model (ＧＭＭ)）（文献[10]参照）としても言及される。また、ＲＢＦ−ＮＮは、ＲＢＦをガウスカーネルマシン（gaussian kernel machine）とみなすことによりサポートベクターマシン（support vector machine (ＳＶＭ)）（文献[11]参照）の概念に包含されることすらある。今までのところ、これらの概念は、パターン分類や、信号のモデル化および予測（文献[12]参照）、適応制御（adaptive control）（文献[6]参照）といった、信号処理に関連した幅広い種類の問題解決に適用されている。
【００１０】
＜解決手段＞
本発明は、このような前提の下で、脳の精神的な機能をモデル化した人工ニューラルネットワーク構造の形成方法において、入力パターンベクトルを一時的に記憶するための短期記憶型ニューラルネットワークを形成するステップと、前記短期記憶型ニューラルネットワークの出力ベクトルに基づいて、通常出力用の長期記憶型ニューラルネットワークを形成するステップと、前記通常出力用の長期記憶型ニューラルネットワーク内のニューロンのパラメータを引き継いで、階層的な通常出力用の長期記憶型ニューラルネットワーク群を順次形成するステップとを含むことを特徴とする、人工ニューラルネットワーク構造の形成方法を提供する。
【００１１】
なお、本発明において、前記通常出力用の長期記憶型ニューラルネットワークは、複数のラジアル基底関数を前記ニューロンとして持つ一般回帰型ニューラルネットワークであることが好ましい。
【００１２】
また、本発明においては、前記通常出力用の長期記憶型ニューラルネットワーク群内の全てのニューロンのうち比較的発火（activation）の強いニューロンのパラメータを引き継いで、前記短期記憶型ニューラルネットワークの出力ベクトルが直接入力される直感型出力用の長期記憶型ニューラルネットワークを形成するステップをさらに含むことが好ましい。
【００１３】
さらに、本発明においては、前記通常出力用の長期記憶型ニューラルネットワーク群内の全てのニューロンのうち比較的発火の強いニューロンのパラメータを前記短期記憶型ニューラルネットワークのニューロンのパラメータとしてフィードバックさせるステップをさらに含むことが好ましい。
【００１４】
さらにまた、本発明においては、所定のタイミングで、前記通常出力用の長期記憶型ニューラルネットワーク群を再構築するステップをさらに含むことが好ましい。
【００１５】
なお、本発明においては、前記通常出力用の長期記憶型ニューラルネットワーク群の出力を前記短期記憶型ニューラルネットワークの入力パターンベクトルとして再度入力することにより、前記通常出力用の長期記憶型ニューラルネットワーク群を再構築することが好ましい。
【００１６】
なお、本発明においては、上述した方法をコンピュータに対して実行させることを特徴とする、人工ニューラルネットワーク構造の形成プログラムも提供される。
【００１７】
本発明によれば、入力パターンベクトルを一時的に記憶するための短期記憶型ニューラルネットワークを形成し、さらに、当該短期記憶型ニューラルネットワークの出力ベクトルを入力ベクトルとして割り当てることにより、階層的な通常出力用の長期記憶型ニューラルネットワーク群を順次形成するので、その長期記憶型ニューラルネットワークシステムにより、情報の「重要さ」や「魅力度」等に基づいた階層的な分類システムを明瞭かつ容易に実現することができ、このため、与えられたタスクに対して高い汎化特性（能力）（generalization performance）を実現することができる。
【００１８】
なお、本発明によれば、通常出力用の長期記憶型ニューラルネットワークとして、複数のラジアル基底関数をニューロンとして持つ一般回帰型ニューラルネットワーク（ＧＲＮＮ）を用いているので、重みベクトルに対する繰り返しの学習が全く必要とされず、与えられたタスクに応じてネットワークを柔軟に構成することが可能である。
【００１９】
また、本発明によれば、通常出力用の長期記憶型ニューラルネットワーク群内の全てのニューロンのうち比較的発火の強いニューロンのパラメータを引き継いで、短期記憶型ニューラルネットワークの出力ベクトルが直接入力される直感型出力用の長期記憶型ニューラルネットワークを形成しているので、ある特定の入力パターンについて、直感型出力用の長期記憶型ニューラルネットワーク内の幾つかのニューロンから「直感」的な出力（直感型出力）が生じるようにネットワーク全体を学習させることにより、脳の精神的な機能の一つである「直感」のモデル化を実現することができる。
【００２０】
さらに、本発明によれば、通常出力用の長期記憶型ニューラルネットワーク群内の全てのニューロンのうち比較的発火の強いニューロンのパラメータを短期記憶型ニューラルネットワークのニューロンのパラメータとしてフィードバックさせているので、通常出力用の長期記憶型ニューラルネットワーク内のニューロンのうち発火の強いニューロンが、入力パターンベクトルが最初に入力される短期記憶型ニューラルネットワーク内で強い影響を及ぼし、そのことによって、脳の精神的な機能の一つである「意識」状態のモデル化を実現することができる。
【００２１】
さらにまた、本発明によれば、所定のタイミングで、通常出力用の長期記憶型ニューラルネットワーク群を再構築しているので、ネットワーク全体の汎化能力をより高めることができる。なお、本発明によれば、通常出力用の長期記憶型ニューラルネットワークの出力を短期記憶型ニューラルネットワークの入力パターンベクトルとして再度入力することにより、通常出力用の長期記憶型ニューラルネットワークを再構築しているので、その再構築の処理をより効率的に行うことができる。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。本実施の形態は、階層的な記憶システムとしての重構造化一般回帰型ニューラルネットワーク（hierarchically arranged generalized regression neural networks (ＨＡ−ＧＲＮＮ)）を入力パターンベクトルに従って発展させることにより、脳の精神的な機能である「直感」および「意識」状態を説明および具現化するものである。
【００２３】
＜ＧＲＮＮの構成＞
まず、本実施の形態に係る重構造化一般回帰型ニューラルネットワーク（ＨＡ−ＧＲＮＮ）の前提となる一般回帰型ニューラルネットワーク（ＧＲＮＮ）について説明する。
【００２４】
図１(a)は、Ｎｉ個の入力層ニューロンと、Ｎｈ個の中間層ニューロンと、Ｎｏ個の出力層ニューロンとを有する、多層一般回帰型ニューラルネットワーク（multilayered generalized regression neural networks (ＭＬ-ＧＲＮＮ)）を示している。
【００２５】
図１(a)において、それぞれの入力層ニューロンｘｉ（ｉ＝１，２，…，Ｎｉ）は入力ベクトルｘ＝［ｘ１，ｘ２，…，ｘＮｉ］Ｔ（Ｔ：転置ベクトル）の各要素に対応している。（以下、下線付きの英字はベクトル（数式中では太字でも表される）を表している。）
中間層ニューロンｈｊ（ｊ＝１，２，…，Ｎｈ）（Ｎｈは変数）はｊ番目のラジアル基底関数（radial basis function (ＲＢＦ)）（以下「セントロイド」ともいう。）を表している。
【００２６】
出力層ニューロンｏｋ（ｋ＝１，２，…，Ｎｏ）は次式（１）（２）により与えられる。
【００２７】
【数１】
0004925235.tif 000002
ここで、ｃｊはセントロイドベクトル、σｊは半径、ｗｊはｊ番目のＲＢＦと出力層ニューロンとの間の重みベクトルを示している。なお、‖…‖２２は平方Ｌ２ノルムを表している。
【００２８】
図１(a)に示すように、ＭＬ−ＧＲＮＮの構成は、中間層でＲＢＦが用いられている点、および出力層が線形関数である点を除いて、良く知られている多層パーセプトロン型ニューラルネットワーク（multilayered perceptron neural network(ＭＬＰ−ＮＮ)）（文献[7]参照）に類似している。
【００２９】
しかしながら、ＧＲＮＮは、既存のＭＬＰ−ＮＮに比較して、重みベクトルの繰り返しの学習が全く必要とされない、という特徴を有している。すなわち、他のＲＢＦ−ＮＮと同様に、単純に入力ベクトルをセントロイドベクトルに割り当て、かつＲＢＦと出力層との間の重みベクトルを対応する目的ベクトルに一致させることにより、いかなる入出力マッピングにも対応することが可能である。ＧＲＮＮのこのような特徴は、逆伝搬に基づいて重みを適合させる従来の良く用いられてきたＭＬＰ−ＮＮが、長い繰り返しの学習を必要とし、かつその出力が局所極小（local minima）に留まる危険性が常にある、という点から比較して、非常に有益である。なお、この点は、学習用の入力ベクトルの組のサイズが非常に大きいときに特に重大な問題となる。
【００３０】
また、ＧＲＮＮにおいては、与えられたタスクに応じてネットワークを柔軟に構成することが可能であり、また、ｃｊおよびσｊという２つのパラメータのみを調整するだけで学習が済んでしまうことから、実際的なハードウェアの実装にとっても有益である。
【００３１】
ＭＬＰ−ＮＮと比較したときのＧＲＮＮの唯一の欠点は、メモリ空間に全てのセントロイドベクトルを記憶させる必要があるということである。つまり、しばしばＧＲＮＮが網羅的なものとなることを意味し、従って、参照モード（すなわちテストモード）における演算の煩雑さが生じる。しかしながら、ＧＲＮＮはメモリベースのアーキテクチャを持った一素子とみなすことができるので、上述したようなＧＲＮＮの有用性は、ニューラルネットワークが実際の脳の機能に関連した「直感」および「意識」といった機能の働きの解釈処理を助けるツールとして用いられるのではないか、という考えに結び付けられる。
【００３２】
図１(a)(b)において、入力パターンベクトルｘに対応する目的ベクトルｔ （ｘ）は、特性関数のベクトルとして、次式（３）により与えられる。
【数２】
0004925235.tif 000003
【００３３】
さらに、セントロイドｈｊをｘに割り当て、上述したＧＲＮＮの特徴を利用して、ｗｊ＝ｔ（ｘ）とすれば、図１(b)に示すように、ネットワークの全体は、Ｎｏ個のサブネットワークと決定ユニットとを有するネットワークと幾何学的に等価となる。なお、以下において、「ＧＲＮＮ」という用語は、図１(b)に示すニューラルネットワークを表すものとして用いる。
【００３４】
要約すれば、ＭＬ−ＧＲＮＮによるネットワークの構築は、単純に次のようにして行われる。（なお、ニューラルネットワークの分野では、このような構築はしばしば「学習」とも呼ばれる。しかしながら、ＭＬ−ＧＲＮＮのネットワークは、重みベクトルの繰り返しの調整等を伴うことなく、入力ベクトルを対応するＲＢＦに割り当てることにより拡張および縮小しているので、その意味は比較的限定的である。）
ネットワークの拡張：ｃｊ＝ｘと設定し、σｊを固定し、ｗｊｋｈｊの項を上式（２）に加える。目的ベクトルｔ（ｘ）は従って、セントロイド（ＲＢＦ）が属することとなるサブネットワークの番号を示すクラスの「ラベル」として用いられる。このことは、図１(b)において、ｊ番目のＲＢＦを、対応するｋ番目のサブネットに加えることに等しい。
【００３５】
ネットワークの縮小：上式（２）からｗｊｋｈｊの項を削除する。
【００３６】
上記の処理により、動的なパターン分類システムが形成される（文献[8]参照）。また、このようなネットワークの構築により、本実施の形態に係る重構造化一般回帰型ニューラルネットワーク（ＨＡ−ＧＲＮＮ）を構築するための基礎が与えられる。
【００３７】
（ＧＲＮＮの半径の設定）
ＲＢＦ−ＮＮの設計においては、半径の値の設定もまた重要な要素であり、このような決定は未だに未解決の問題である（例えば、文献[7]参照）。本実施の形態では、固定の半径の値が用いられ、それは、次式（４）の設定に従って、ネットワーク内の全てのセントロイドに対して同一に設定される。
【００３８】
【数３】
0004925235.tif 000004
ここで、γはスカラー定数であり、ｄｍａｘはセントロイドベクトル間の最大ユークリッド距離である。上式（３）を適用することにより、学習のフェーズで形成される全体の超空間が徐々に（合理的に）セントロイドにより覆われる。
【００３９】
本実施の形態では、半径の値は、セントロイドの数やパラメータが変化したときに更新される。
【００４０】
＜ＨＡ−ＧＲＮＮの構成＞
次に、図２乃至図４により、本実施の形態に係る重構造化一般回帰型ニューラルネットワーク（ＨＡ−ＧＲＮＮ）の構成について説明する。
【００４１】
図２に示すように、本実施の形態に係るＨＡ−ＧＲＮＮ１０は、短期記憶（short-term memory (ＳＴＭ)）モデルおよび長期記憶（long-term memory (ＬＴＭ)）モデルという２つの記憶モデルを備えた階層的な記憶システムとして実現されたものであり、短期記憶（ＳＴＭ）モデルを実現するＳＴＭネットワーク（短期記憶型ニューラルネットワーク）１１と、長期記憶（ＬＴＭ）モデルを実現するＬＴＭネットワーク群（ＬＴＭネット１〜Ｌ）（長期記憶型ニューラルネットワーク）１２と、いわゆる「一人勝ち」方式に従う決定ユニット１３とを備えている。
【００４２】
なお、図２において、ｘはＨＡ−ＧＲＮＮ１０に入ってくる入力パターンベクトル、ＯＳＴＭはＳＴＭネットワーク１１の出力ベクトル、ＯＬＴＭ，ｉ（ｉ＝１，２，…，Ｌ）はＬＴＭネットワーク群１２の出力、ｖｉはＬＴＭネットワーク群１２の出力に対する重みの値、ＯＮＥＴはＨＡ−ＧＲＮＮ１０の出力である。
【００４３】
ここで、ＬＴＭネットワーク群１２は、符号（Ａ）の領域に表された「直感型出力」のためのもの（ＬＴＭネット１）と、符号（Ｂ）の領域に表された「通常出力」のためのもの（ＬＴＭネット２〜Ｌ）とに分けられる。
【００４４】
ここで、ＬＴＭネット２〜Ｌは図１(b)に示すＧＲＮＮと同一の構成を有している。これに対し、ＳＴＭネットワークおよびＬＴＭネット１は、図１(b)に示す通常のＧＲＮＮの構成とは異なっており、ＳＴＭネットワークおよびＬＴＭネット１はそれぞれ、図３および図４に示すようにＲＢＦ−ＮＮの構成を修正した構成を有している。
【００４５】
以下、図１(b)、図３および図４により、ＳＴＭネットワークおよびＬＴＭネットワーク群（ＬＴＭネット１〜Ｌ）の構成の詳細について説明する。
【００４６】
（ＳＴＭネットワークの構成）
図３に示すように、ＳＴＭネットワークは、修正されたＲＢＦ−ＮＮであり、セントロイドｈ１，ｈ２，…ｈＭの中から最も発火（activation）の強いセントロイドを選択する選択ユニットを有している。なお、ＲＢＦ−ＮＮの出力ＯＳＴＭは、ＲＢＦの出力の合計として計算されるスカラー値としてではなく、ベクトルとして与えられる。また、ＳＴＭネットワークは、後述されるＬＴＭネットワークと異なり、サブネットワークを有しておらず、セントロイドの最大数ＭＳＴＭを持つ単層の構成に基づいている。従って、ＳＴＭネットワークは、ファクタであるＭＳＴＭにより長さの決まる、キューイングシステムに類似した構成となる。
【００４７】
（ＬＴＭネットワーク群の構成）
図２に示すそれぞれのＬＴＭネットワークは、ＳＴＭネットワークと同様に、セントロイドの最大数を有している。ＬＴＭネットワークは、ＬＴＭネット１を除いて、上記のようなＲＢＦ−ＮＮではなく、ＧＲＮＮの構成を有している。このため、それぞれのＬＴＭネットワークは、ＬＴＭネット１を除いて、図１(b)に示すような、サブネットワークと決定ユニットとを有している。これに対し、ＬＴＭネット１は、図４に示すように、出力側に合計処理を行うユニットを持たないセントロイドからなっている。図４において、ＬＴＭネット１の出力ＯＬＴＭ，１は、いわゆる「一人勝ち」方式で選ばれる、最も発火の強い（例えば、ｌ番目の）セントロイドｈｌ自体である。ＬＴＭネット１におけるセントロイドの数は変化し、その理由は以下に説明される。
【００４８】
次に、図５により、このような構成からなるＨＡ−ＧＲＮＮ１０の発展プロセスについて説明する。
【００４９】
上述したように、ＨＡ−ＧＲＮＮ１０は、実際の脳における階層的な記憶システムについての生物学的な研究により動機付けられたものである（文献[9]、文献[14]〜文献[18]参照）。ＨＡ−ＧＲＮＮ１０における、ＳＴＭネットワークの役割は、ＨＡ−ＧＲＮＮ１０に入ってくる入力パターンベクトルを、それがＬＴＭネットワーク群に記憶される前に一時的に記憶（「バッファー」）することである。これに対し、ＬＴＭネットワーク群の役割は、ＬＴＭネット１〜Ｌを階層的に構築することにより、情報の「重要さ」や「魅力度」等に基づいた階層的な分類システムを実現することにある。
【００５０】
本実施の形態においては、ＨＡ−ＧＲＮＮ１０を、ＳＴＭネットワークおよびＬＴＭネットワーク群内の全てのセントロイドの発火の強さに基づいて、図５に示す５つのフェーズ（ステップ１０１乃至１０５）に従って構築する。
【００５１】
＜フェーズ１：ＳＴＭネットワーク（およびＬＴＭネット２）の形成＞
フェーズ１において、ＳＴＭネットワークは次のようにして形成される。
【００５２】
ステップ１：セントロイドの数ＭがＭＳＴＭよりも小さい場合には、上式（２）で計算される発火の強さｈｉと、そのセントロイドベクトルｃｉ＝ｘとを持つＲＢＦを、ＳＴＭネットワークに加える。ＳＴＭネットワークの出力ベクトルＯＳＴＭは、従ってｘに等しい。
【００５３】
ステップ２：そうでない場合には、次の処理を行う。
【００５４】
ステップ２．１：最も発火の弱いセントロイドの発火の強さ（例えば、ｊ番目のｈｊ）がｈｊ＜ｔｈＳＴＭである場合には、それを、セントロイドベクトルがｃｊ＝ｘとなる、新しいものに置き換える。この場合には、ネットワークの出力ＯＳＴＭは、ｘ に等しい。
【００５５】
ステップ２．２：そうでない場合には、ＯＳＴＭは次式（５）により調整される。
【００５６】
【数４】
0004925235.tif 000005
ここで、ｃｋは最も発火の強いセントロイドｈｋ（例えばｋ番目）のセントロイドベクトルであり、λは平滑化ファクタ（smoothing factor）（０≦λ≦１）である。
【００５７】
上述したステップ２において、平滑化ファクタλは、ネットワークに与えられる新たな入力パターンベクトルによりＳＴＭネットワークがいかに速く発展されるかを規制するために導入されたものである。言い換えれば、このファクタの役割は、ＳＴＭネットワークが、他のパターンに対してのフォーカスをいかに素早く切り替えるかを決定するものである。このことは、特定の事物に対する「選択的な注意」として把握される。例えば、ファクタλが小さい場合には、出力ＯＳＴＭ はよりｘに近づくため、「不注意さ」の兆候を示しているといえる。逆に、ファクタλが大きい場合には、ＳＴＭネットワークは特定のパターンに「執着」することとなる。このことはまた、後述する「意識」状態のモデル化にも関連している。
【００５８】
フェーズ１において、ＳＴＭネットワークが上述したようにして形成されると、ＬＴＭネット２がまた、ＳＴＭネットワークの出力ベクトルをＬＴＭネット２のセントロイドに直接割り当てることにより、形成される。言い換えれば、発展プロセスの初期段階（すなわち、最も最初の入力パターンベクトルが入ってきてから、ＬＴＭネット２が満たされるまで）においては、それぞれのＬＴＭネットワークがＧＲＮＮにより表現されるので、ＬＴＭネット２内のセントロイドは、それぞれのセントロイドベクトルに関連したクラスの「ラベル」（すなわち、これは、上式（３）に定義された一連の特性関数からなる目的ベクトルにより与えられる。）に従って、それぞれのサブネットワーク内に分散されている。
【００５９】
これにより、ＬＴＭネット２のサブネットｉ（ｉ＝１，２，…，Ｎｃｌ、ここで、ＮｃｌはそれぞれのＬＴＭネットワーク内のサブネットの数に等しいクラスの数である。）へのセントロイドの追加が、サブネットｉ内のセントロイドの総数が最大数ＭＬＴＭ ２，ｉに達するまで繰り返される。なお、このような追加ができなくなった場合には、サブネットｉ内のセントロイドのうち最も発火の弱いセントロイドがＬＴＭネット３に移動する。なお、サブネットワークの数は、ＬＴＭネット２〜Ｌにおいて同一となるよう固定されている。
【００６０】
このような手順は、上述したフェーズ２に対応しており、次のようにしてまとめられる。（なお、ここでは、出力ベクトルがクラスｉに属するものと仮定する。）
＜フェーズ２：ＬＴＭネットワーク群（ＬＴＭネット２〜Ｌ）の形成＞
ステップ１：ｊ−１からＬ−１まで、次のことを行う。もし、ＬＴＭネットｊのサブネットｉ内のセントロイドの数がＭＬＴＭ ｊ，ｉに達したら、ＬＴＭネットｊのサブネットｉ内のセントロイドのうち最も発火の弱いセントロイドをＬＴＭネットｊ＋１に移動する。
【００６１】
ステップ２：もし、ＬＴＭネットＬのサブネットｉ内のセントロイドの数がＭＬＴＭ L，ｉに達したら（すなわち、ＬＴＭネット２〜Ｌ内の全てのｉ番目のサブネットワークが満たされたら）、新しいＳＴＭネットワークの出力ベクトルを記憶する場所がないこととなる。このため、次のことを行う。
【００６２】
ステップ２．１：ＬＴＭネットＬのサブネットｉ内のセントロイドのうち最も発火の弱いセントロイドを放棄する。
【００６３】
ステップ２．２：ＬＴＭネット（Ｌ−１）〜２のサブネットｉ内のセントロイドのうち最も発火の弱い全てのセントロイドをそれぞれ、ＬＴＭネットＬ〜３に順次移す。
【００６４】
ステップ２．３：新たなＳＴＭネットワークの出力ベクトルを、ＬＴＭネット２のサブネットｉに記憶する。
【００６５】
なお、上述したステップ２は、ＦＩＬＯ（first-in-last-out）型のキュー構造に類似した手順を表している。
【００６６】
ここで、フェーズ２は、ＨＡ−ＧＲＮＮ１０のＬＴＭネットワーク群が層構成（ＬＴＭネット２〜Ｌ）をなしているという点に基づいたものである。なお、ＨＡ−ＧＲＮＮ１０の出力ＯＮＥＴは、決定ユニット１３により、次式（６）のように、重み付けされたＬＴＭネットワーク群の出力ＯＬＴＭ，ｉ（ｉ＝１，２，…）の中で最も大きい値として選択される。
【００６７】
ここで、ＬＴＭネットワーク群のうちＬＴＭネット１の出力ＯＬＴＭ，１ための重みの値ｖ１は、次式（７）に示すように、他のものよりも比較的大きく与えられているが、これは、ＨＡ−ＧＲＮＮ１０からの「直感型出力」を考慮したものである。
【数５】
0004925235.tif 000006
【００６８】
フェーズ２においてＬＴＭネットワーク群が形成された後、フェーズ３において、ＬＴＭネットワーク群の再構築が行われる。このような再構築は、ある特定の時間または一定の期間内、または特定の入力パターンベクトルの下での幾つかのＬＴＭネットワーク内のセントロイドの発火が強まったために行われる。なお、ＬＴＭネットワーク群の再構築が行われている間は、入ってくる入力パターンベクトルが処理されることは許されない。
【００６９】
フェーズ３の手順は次のようにしてまとめられる。
【００７０】
＜フェーズ３：ＬＴＭネットワーク群（ＬＴＭネット２〜Ｌ）の再構築（自己発展）＞
ステップ１：ＬＴＭネット２〜ｌ（ｌ＜＝Ｌ）内の全てのセントロイドベクトルを集める。
【００７１】
ステップ２：このようにして集められたセントロイドベクトルを、入ってくる入力パターンベクトルとして設定する。
【００７２】
ステップ３：それらを１つずつＨＡ−ＧＲＮＮ１０に与える。このプロセスはｐ回繰り返される。（図２において、このステップの流れは、点線矢印２１で表されている。）
ここで、フェーズ３は、ＬＴＭネット２〜Ｌ内のセントロイドにより張られるパターン空間を「整える（shape up）」ために導入されたものである。
【００７３】
なお、ＬＴＭネットワーク群の再構築の手法としては、上述した事例ベースの処理（instance-based operation）以外にも、クラスタリングの技術を用いて既存のＬＴＭネットワークを圧縮することにより新たなＬＴＭネットワーク（セントロイドの組）を得るという手法（文献[8]参照）を適用することもできる。しかしながら、上述したクラスタリングの技術は、既に報告されているとおり、代表ベクトル（representative vectors）の数が小さくなるにつれて、しばしば、パターン空間を崩壊させてしまう可能性がある。
【００７４】
フェーズ４において、ＬＴＭネット２〜Ｌにおいて、ある期間内で比較的発火の強いセントロイドの幾つかがＬＴＭネット１に移動される。ＬＴＭネット１に新たに割り当てられたそれぞれのセントロイドは、上述したとおり、最終的にＲＢＦ−ＮＮを形成し、入力ベクトルに対する直接的な接続を有する。
【００７５】
フェーズ４の手順は次のようにしてまとめられる。
【００７６】
＜フェーズ４：ＬＴＭネット１の形成＞
ステップ１：フェーズ２および３におけるＬＴＭネットワーク群の形成／再構築の間、入力パターンベクトルがＨＡ−ＧＲＮＮ１０に与えられる度に、ＬＴＭネット２〜Ｌ内のセントロイドの中で最も発火が強くなったセントロイドの発火回数が監視される。なお、発火回数は、入ってくる入力パターンベクトルのクラスＩＤと最も発火の強いセントロイドのそれとが一致するときにのみ増加される。
【００７７】
ステップ２：ある特定の時間または期間内（例えばｑ）に、ＬＴＭネット２〜Ｌ内のセントロイドの全ての発火回数をリストアップし、最も大きい発火回数を有するＮ個のセントロイドを得る。ここで、Ｎは次式（８）の条件を満たすものである。
【数６】
0004925235.tif 000007
【００７８】
ステップ３：ＬＴＭネット１内のセントロイドの総数が、ＭＬＴＭ  １−Ｎ（すなわち、ＭＬＴＭ  １はＬＴＭネット１内のセントロイドの最大数を表し、Ｎ≦ＭＬＴＭ １とみなす。）より小さいか、またはそれに等しいならば、Ｎ個のセントロイドの全てをＬＴＭネット１に移動させる。そうでない場合には、ＬＴＭネット１内の（ＭＬＴＭ １−Ｎ）個のセントロイドはそのままの状態で残し、ＬＴＭネット１内の残りのセントロイドをＮ個の新たに得られたセントロイドに置き換える。
【００７９】
ステップ４：上述したステップで追加されるそれぞれのセントロイドに対して、入力パターンベクトルへの直接的な経路を作成する。（このプロセスは、図２において太線矢印２２で示されている。）
他のＬＴＭネットワーク群（ＬＴＭネット２〜Ｌ）と異なり、ＬＴＭネット１内のセントロイドの半径の値は発展プロセスの間に変化してはならない。これは、その半径の値によるセントロイドの強い発火がＬＴＭネット１に移された後も続くことが予期されるからである。
【００８０】
上述した４つのフェーズはＨＡ−ＧＲＮＮ１０の発展プロセスの基礎を与える。以下、ＨＡ−ＧＲＮＮ１０の発展プロセスにより、どのようにして、脳の２つの精神的な機能（すなわち、「直感」および「意識」）の働きが解釈されるのかを説明する。
【００８１】
＜「直感」および「意識」状態の解釈処理＞
（ＨＡ−ＧＲＮＮによる「直感」のモデル）
日常の生活において、我々はしばしば、『事物が正しいことは分かるが、それがなぜであるかを説明することができず、また、その証拠または証明を見出すことができない』、というような場面に直面する。このことは、いわゆる「直感」の働きとみなされている。
【００８２】
推定１：ＨＡ−ＧＲＮＮ１０の場合において、「直感」は、特定の入力パターンベクトルに対してＬＴＭネットワーク群内で異常に強い発火を有する、ある特定の組のセントロイドが存在すること、というように解釈される。
【００８３】
上述した推定１は、「直感」の働きは、脳内の神経の特定の活動に関連した情報処理に関して説明されるという観点から引き出されたものである（例えば、文献[19]参照）。
【００８４】
図２においては、ＨＡ−ＧＲＮＮへ入ってくる入力パターンベクトルに対しては２つの経路がある。２つの経路を有するということは、ＨＡ−ＧＲＮＮの出力が、通常の入力パターンベクトルに対し、入力パターンベクトルが２段階の記憶システム（すなわち、ＳＴＭネットワークおよびＬＴＭネットワーク群）に通された後で生成され、ある特定の入力パターンについては、ＬＴＭネット１内の幾つかのニューロンが、「直感」的な出力（直感型出力）を生じるのに十分興奮することにより生成される、ということを意味している。
【００８５】
直感型出力がＬＴＭネット１の出力であるという根拠は、上述したＨＡ−ＧＲＮＮ１０の発展プロセスに関して説明したように、ＬＴＭネット１が、ＬＴＭネット２〜Ｌ内のある特定の数のセントロイドに対して強い発火をもたらす入力パターンベクトルの比較的長い間繰り返される提示を行った後に形成されている、ということにある。言い換えれば、ＳＴＭネットワークからＬＴＭネット２〜Ｌへのセントロイドの移行は、通常の学習プロセスとみなされ、ＬＴＭネット２〜ＬからＬＴＭネット１へのセントロイドの移行は後にＨＡ−ＧＲＮＮの「直感」的な出力を生成する可能性を与えるものである。
【００８６】
これに対し、我々はしばしば、『すばらしい考えをひらめいた。』とか、『眠っているときに、恐ろしい悪夢によって突然起きてしまった。』といったエピソードを聞くことがある。これらもまた、直感と同様、記憶の自己発展中に脳内で生じている現象として説明される。ＨＡ−ＧＲＮＮ１０の場合には、これは、ＬＴＭネットワーク群の再構築フェーズ中に、ＬＴＭネットワーク群内の幾つかのセントロイドがある特定のレベルを十分に越える程発火する、というフェーズ３と関連している。また、これらのセントロイドは、比較的長い期間、または（ほとんど）永久的に（特に記憶に残る事件の場合等にたとえられる）、ＬＴＭネットワーク群内に残ることがある。このような解釈は、人が一旦ある振る舞いの技能を修得したら、人は長い間それを忘れない、という生物学的な事実（文献[20]および文献[21]参照）にも合致するものである。
【００８７】
（ＨＡ−ＧＲＮＮによる「意識」状態のモデル）
「意識」という言葉は具体的ではなく、それが本来的に非常に広くかつ複雑な意味を内包していることから、「意識」についての明確な定義というものは意に添わないものになりがちである。このため、ここでは、自己再帰性を使う解釈を認めることなく、ＨＡ−ＧＲＮＮの場合における「意識」という用語を限定的に用いることにする。
【００８８】
最近、（狭い意味での）「意識」状態のモデル化の試みは、知能ロボティックスの開発の動機付けとなり、またその中で利用されている（文献[2]〜文献[5]参照）。一つの具体化の例として、人工マウスにより迷路探索を実現するというモデルが考案されているが（文献[5]および文献[24]参照）、その人工マウスの動きは、「意識アーキテクチャ」と呼ばれる、階層的な概念モデルにより制御される（文献[24]参照）。このモデルにおいて、マウスは、経路探索の遂行に関して意識的であるという状態を表す高階層のメモリを導入し、低階層のメモリを実際の動きのために用いるとともに高階層のメモリにより「意識」状態をコントロールすることにより、迷路探索を続ける。
【００８９】
ＨＡ−ＧＲＮＮの場合において、このようなモデルは、「意識」状態を表す「階層的」な構造を有するという点において一致している。このため、次の推定２が導かれる。
【００９０】
推定２：何かについて「意識的である」とう状態は、ＳＴＭネットワーク内のセントロイドによって表現される。
【００９１】
なお、ＨＡ−ＧＲＮＮにおいて、ＳＴＭネットワークからＬＴＭネットワーク群へのセントロイドの移行は「フィードフォワード」移行とみなされるので、フィードバック移行、すなわちＬＴＭネットワーク群からＳＴＭネットワークへの移行についても当然考えられる。このため、フェーズ２および３のフィードフォワード移行処理と対照的な次のフェーズ５をＨＡ−ＧＲＮＮの発展プロセスに追加することが好ましい（図５参照）。
【００９２】
＜フェーズ５：ＬＴＭネットワーク群からＳＴＭネットワークへのフィードバック（「意識」状態の形成）＞
ステップ１：ＬＴＭネットワーク群内で発火した、ある特定のクラスに対応するセントロイドの中から、過度に発火した回数が最も大きいｍ個のセントロイドを集める。（つまり、この処理がＨＡ−ＧＲＮＮの「意識」状態に対応している。）
ステップ２：ｍ個のセントロイドのコピーをＳＴＭネットワーク内のｍ個の最も発火の弱いセントロイドと置き換えられる。（ここで、（ＭＳＴＭ−ｍ）個の最も発火の強いセントロイドはそのままの状態に保たれる。）このようにして選ばれたｍ個のセントロイドは、それらのセントロイドベクトルを変えることなく（ただし、半径は変わる）、ＳＴＭネットワーク内である一定の比較的長期間残る。
【００９３】
フェーズ５では、ＳＴＭネットワーク内に残る他のセントロイドのパラメータは学習中に変わるので、上記のようにコピーされたｍ個のセントロイドの半径の値も変わり得る。言い換えれば、ｍ個のセントロイドとＳＴＭネットワーク内の残りの（ＭＳＴＭ−ｍ）個のセントロイドとの比率は「意識のレベル」を説明するものとして解釈される。このため、次の推定３が引き出される。
【００９４】
推定３：「意識のレベル」は、ＬＴＭネットワーク群から選ばれたｍ個の最も発火の強いセントロイドの数と、ＳＴＭネットワーク内の残りの（ＭＳＴＭ−ｍ）個のセントロイドの数との比率によって決定される。このことは「学習」プロセスの一部とみなされる。
【００９５】
推定３はまた、「習熟（rehearsing）」行為（文献[16]参照）（学習中に獲得された情報が徐々に長期記憶に記憶される行為）についての神経物理学的な証拠にも関連している。
【００９６】
ＨＡ−ＧＲＮＮ１０の場合において、入ってくる入力パターンベクトル（または一組のパターンベクトル）は脳への入力情報と比較されるものであり、バッファの機能を果たすＳＴＭネットワーク内に一時的に記憶される。それから、発展プロセス中に、ＳＴＭネットワーク内のセントロイドにより表される情報は、フェーズ１〜３に示すように、選択的にＬＴＭネットワーク群に移行される。反対に、（セントロイドを示している）あるクラスについての「意識」は所定のタイミングで生じるとされるので、ＬＴＭネットワーク群内の幾つかのセントロイドがＳＴＭネットワークに一旦戻される。（このような相互作用は「学習」プロセスと比較される（文献[16]参照）。）
ＨＡ−ＧＲＮＮ１０の場合において、初期の段階で与えられた発展プロセスは、厳密に言うと、偶発的なものではないので、与えられた問題に応じて、あらかじめ「意識」状態をプログラムしておくこともできる。（しかし、特定の応用問題における移行処理を適切に設定することにより、ＨＡ−ＧＲＮＮ１０を自律的に発展させることもまた可能である。）例えば、パターン分類タスクの場合において、「ＨＡ−ＧＲＮＮが総数Ｎｍａｘ個の中でＮ個のクラスについてのみ意識的である」というように、クラスの数をＮ＜Ｎｍａｘに限定するようにしてもよい。
【００９７】
このように本実施の形態によれば、フェーズ１および２において、入力パターンベクトルを一時的に記憶するためのＳＴＭネットワーク１１を形成し、さらに、当該ＳＴＭネットワーク１１の出力ベクトルを入力ベクトルとして割り当てることにより、階層的なＬＴＭネットワーク群（ＬＴＭネット２〜Ｌ）を順次形成するので（フェーズ１および２）、長期記憶型ニューラルネットワーク群としてのＬＴＭネット２〜Ｌにより、情報の「重要さ」や「魅力度」等に基づいた階層的な分類システムを明瞭かつ容易に実現することができ、このため、与えられたタスクに対して高い汎化能力を実現することができる。
【００９８】
なお、本実施の形態によれば、ＬＴＭネットワーク（ＬＴＭネット２〜Ｌ）の構成として、複数のラジアル基底関数をセントロイド（ニューロン）として持つ一般回帰型ニューラルネットワーク（ＧＲＮＮ）を用いているので、重みベクトルに対する繰り返しの学習が全く必要とされず、与えられたタスクに応じてネットワークを柔軟に構成することが可能である。
【００９９】
また、本実施の形態によれば、フェーズ４において、ＬＴＭネットワーク群（ＬＴＭネット２〜Ｌ）内の全てのセントロイドのうち比較的発火の強いセントロイドのパラメータを引き継いで、ＳＴＭネットワークの出力ベクトルが直接入力される直感型出力用のＬＴＭネットワーク（ＬＴＭネット１）を形成しているので、ある特定の入力パターンについて、ＬＴＭネット１内の幾つかのセントロイドから「直感」的な出力（直感型出力）が生じるようにＨＡ−ＧＲＮＮ１０を学習させることにより、脳の精神的な機能の一つである「直感」のモデル化を実現することができる。
【０１００】
さらに、本実施の形態によれば、フェーズ５において、ＬＴＭネットワーク群（ＬＴＭネット２〜Ｌ）内のある特定のクラスに属するセントロイドのうち比較的発火の強いセントロイドそのものをＳＴＭネットワークのセントロイドとして戻して（フィードバックさせて）いるので、入力パターンベクトルが最初に入力されるＳＴＭネットワーク内の特定されたクラスに対する汎化能力が高められる。このため、脳の精神的な機能の一つである「意識」状態が人工的に造り出される。
【０１０１】
さらにまた、本実施の形態によれば、フェーズ３において、ある特定の時間または一定の期間内、または特定の入力パターンベクトルの下での幾つかのＬＴＭネットワーク群内のセントロイドの発火の強さに起因して、ＬＴＭネットワーク群（ＬＴＭネット２〜Ｌ）を再構築しているので、ネットワーク全体の汎化能力をより高めることができる。なお、本実施の形態によれば、ＬＴＭネットワーク群（ＬＴＭネット２〜Ｌ）の出力をＳＴＭネットワークの入力パターンベクトルとして再度入力することにより、ＬＴＭネットワーク群（ＬＴＭネット２〜Ｌ）を再構築しているので、その再構築の処理をより効率的に行うことができる。
【０１０２】
なお、上述した実施の形態に係る、脳の精神的な機能をモデル化した人工ニューラルネットワーク構造の形成方法は、例えば、図７に示すようなコンピュータシステム４０上で稼働するプログラムとして簡単に実現することができる。ここで、コンピュータシステム４０は、バス４８と、バス４８に接続されたプロセッサ４１、メモリ４２およびハードディスク４３と、バス４８に接続された周辺機器（キーボードやマウス等の入力装置４４、ディスプレイやプリンタ等の出力装置４５、ＦＤドライブ４６およびＣＤ−ＲＯＭドライブ４７）とを備えている。そして、上述したようなプログラムは、メモリ４２やハードディスク４３、フレキシブルディスク４９およびＣＤ−ＲＯＭ５０等のようなコンピュータ読み取り可能な記録媒体に格納され、プロセッサ４１から逐次読み出されて実行されることにより上述したような手順を実現することができる。
【０１０３】
【実施例】
次に、上述した実施の形態の具体的実施例について述べる。なお、本実施例では、デジタル音声分類タスクのための典型的なパターンセットを用いてＨＡ−ＧＲＮＮを構築するシミュレーション実験を行い、脳の精神的な機能である「直感」および「意識」状態のモデル化の正当性を確かめた。
【０１０４】
シミュレーション実験においては、ＳＦＳデータベース（文献[25]参照）から抽出されるデータセットを用いてＨＡ−ＧＲＮＮを構築した。ＳＦＳデータベースは、パターン分類タスクのベンチマーク用のパブリックドメインのデータベースである。シミュレーション実験において、データセットは/ZERO/から/NINE/までの数字についての全部で９００の発話からなっている。各発話は、英語により９人の異なった話者（同数の女性および男性の話者を含む）によって記録されたものである。実験では、データセットを任意に２つの組に分け、一つはＨＡ−ＧＲＮＮを構築するためのもの（すなわち、入ってくるパターンセット）として用い、他はテストのためのものとした用いた。構築用のデータセットは全部で５４０の発話サンプル（それぞれの数字について等しく５４のサンプルが選ばれた。）を含み、一方、テスト用のデータセットは全部で３６０のサンプル（それぞれの数字について３６のサンプル）からなっている。両方のセットにおいて、それぞれの発話は２０ｋＨｚでサンプリングされ、良く知られているＬＰＣ−ｍｅｌ−ｃｅｐｓｔｒａｌ分析により得られた、正規化された２５６のデータポイントのセットを持つ特徴ベクトル（feature vector）に変換された。このため、特徴ベクトルがＨＡ−ＧＲＮＮの入力パターンベクトルとして用いられた。
【０１０５】
（ＨＡ−ＧＲＮＮにおけるパラメータの設定）
表１に、シミュレーション実験で用いられたＨＡ−ＧＲＮＮのネットワーク構築用のパラメータを示す。
【０１０６】
【表１】
0004925235.tif 000008
表１において、ＭＬＴＭ １，ＭＬＴＭ ２，ｉ，ＭＬＴＭ ３，ｉ（ｉ＝１，２，…，１０（クラスＩＤである１，２，…，１０のそれぞれに対応する））の値は任意に選択されたものであり、Ｎｃｌはクラス（すなわち、１０個の数字）の数に等しくなるように選択されたものである。このような設定において、ＬＴＭネット１〜３内のセントロイドの総数であるＭＬＴＭ，Ｔｏｔａｌは次式（９）に従って計算され、ここでは８５となる。
【数７】
0004925235.tif 000009
【０１０７】
（ＳＴＭネットワークの設定）
実験では、ＳＴＭネットワークの設計において、表１に示すように、ＭＳＴＭ＝３０、γ＝２（上式（４））を用いた。これにより、ＳＴＭネットワークは、構築中に１０個の全てのクラスを網羅的にかつ合理的にカバーし、ＬＴＭネットワーク群に対するバッファとして機能する。また、上式（５）において、ｔｈＳＴＭ＝０．１および平滑化ファクタλ＝０．６を用いた。予備的なシミュレーション実験では、λ＝０．６の選択により、ｋ平均クラスタリング手法（文献[27]参照）の場合に比べて、ＨＡ−ＧＲＮＮの比較的良好な汎化特性が経験的に得られた。
【０１０８】
（ＬＴＭネットワーク群の設定）
ＬＴＭネット２〜Ｌの半径の設定に関して、γ＝１／４（上式（４））がＨＡ−ＧＲＮＮの発展プロセス中に良好な汎化特性を維持するための合理的な選択であることが分かった。また、ＬＴＭネット１からの「直感型出力」を励起させるため、ｖ１は２．０に固定され、ｖｉ（ｉ＝２，３，…，Ｌ）は次式（１０）のような線形減衰により与えられた。
【数８】
0004925235.tif 000010
【０１０９】
（発展プロセスのスケジューリング）
図６はシミュレーション実験の発展プロセスのスケジューリングの一例を示す図である。図６において、ｔはＨＡ−ＧＲＮＮにｔ番目に入ってくるパターンベクトルに対応している。シミュレーション実験においては、フェーズ１〜５の全てをカバーするよう、ｔ１＝２００、ｔ２＝２０１、ｔ３＝４００と設定した。（なお、発展時間ｔ２後に生じるＬＴＭネット１の形成は、上述したとおり、入ってくる入力パターンベクトルの比較的長い提示の後に生じるようスケジューリングされている。）シミュレーション実験において、フェーズ３の再構築はｔ１において生じる。発展プロセスは最終的にｔ＝５４０（すなわち、学習用に入ってくる全てのベクトルの数）で止まる。シミュレーション実験において、ＨＡ−ＧＲＮＮの自己発展（ｔ１で生じる）はｐ＝２にスケジューリングされた。（すなわち、自己発展プロセスが２回行われ、この設定は汎化能力に何ら影響を与えないことが分かった。）
（シミュレーション結果）
ＨＡ−ＧＲＮＮによるパターン認識能力を把握するため、発展プロセスが終了した後、ＳＴＭネットワークがバイパスされ、ＬＴＭネット１〜Ｌのみを用いて、テスト中における汎化特性が評価された。
【０１１０】
表２は発展プロセスが終了した後にＨＡ−ＧＲＮＮを用いて得られたコンフュージョンマトリックス（confusion matrix）を示す。
【表２】
0004925235.tif 000011
【０１１１】
この場合、「意識」状態はｔ３では形成されていない。これに対し、表３は、比較のため、ＨＡ−ＧＲＮＮと同一の数（すなわち、全部で８５のセントロイドが用いられる。）のセントロイドをそれぞれのサブネットに有する従来のＧＲＮＮを用いて得られたコンフュージョンマトリックスを示している。
【表３】
0004925235.tif 000012
【０１１２】
ここで、各セントロイドは、良く知られているマックイーン（MacQueen）のｋ平均クラスタリング手法（文献[27]参照）により求められている。公平な比較をなすため、それぞれのサブネット内のセントロイドは、ｋ平均クラスタリング手法を、それぞれの数字（すなわち、数字/ZERO/から数字/NINE/まで）ごとに５４のサンプルを含むそれぞれの（入ってくるパターンベクトルの）サブセットに対して適用することにより得た。
【０１１３】
表３に示される従来のＧＲＮＮの場合と比較して、表２に示すように、ほぼクラス全体を通してＨＡ−ＧＲＮＮの汎化特性における優位性があり、それに加えて、それぞれの数字に関しての汎化性能が、数字/NINE/を除いて、比較的高い。これに対し、従来のＧＲＮＮでは、表３に示すように、数字ごとにその性能が変化する。このことは、ｋ平均クラスタリング手法により得られたセントロイドにより張られるパターン空間が偏っていることを示している。
【０１１４】
（直感型出力の生成）
実験では、発展プロセス中において、直感型出力が３回生成され、この３回のうち２回は、数字/TWO/として、正しく分類された。これに対し、テスト中においては、３６０個のうち１６個のパターンベクトルがＬＴＭネット１からの直感型出力の生成をもたらし、この１６個のうち１３個のパターンが正しく分類された。１２個のパターンベクトルと、クラスＩＤ（すなわち、数字番号）に対応するそれぞれのセントロイドベクトルとの間のユークリッド距離は比較的小さく、最小に近い。（実際にも、パターン番号８３および８９と、数字/TWO/および/EIGHT/のセントロイドとの間のユークリッド距離はそれぞれＬＴＭネット１において最小であった。）このような結果から、直感型出力は、入ってくるパターンベクトルがＬＴＭネット１内のそれぞれのセントロイドベクトルと非常に近いときに生成されやすい、ということが分かる。
【０１１５】
（「意識」状態をモデル化するためのシミュレーション）
表２において、数字/FIVE/および/NINE/の結果は比較的悪い。ＨＡ-ＧＲＮＮ内に「意識」状態のモデルを持つことの有効性を評価するため、数字/FIVE/および/NINE/の両方に対して意図的に「意識」状態を持たせた。
【０１１６】
上述した推定２および３の両方に従って、ＳＴＭネットワーク内の３０個のセントロイドのうち１０個のセントロイドが、ｔ３の発展時間後、それぞれの数字に固定された。また、数字/FIVE/および/NINE/に対する悪い汎化特性は（おそらく）それらのクラスに対するセントロイドの数が不十分であることによるので、ＬＴＭネット２および３内のセントロイドの最大の数ＭＬＴＭ ２，ｉ，ＭＬＴＭ ３，ｉ（ｉ＝５および１０）をそれぞれ増加させた。
【０１１７】
表４において、数字/NINE/のみの「意識」状態を持つＨＡ−ＧＲＮＮにより得られたコンフュージョンマトリックスが示されている。
【表４】
0004925235.tif 000013
【０１１８】
この場合、ＬＴＭネット２および３内の全部で８個のセントロイド（すなわち、ＬＴＭネット２および３のそれぞれに４個ずつ）（最初の８個の（４個ではなく）の最も発火の強いものに対応するもの）が（フェーズ４に続いて）選択され、ＬＴＭネット２および３の両方のサブネット１０に追加される（すなわち、ＬＴＭネット１〜３のセントロイドの総数は最終的に９３まで増加する。）。表４において、数字/NINE/の汎化特性は、表２に示す場合と比べて、６１．１％まで改良された。なお、それに伴って、数字/ZERO/および/FIVE/の汎化特性もまた改良されたことは非常に興味深い。
【０１１９】
これに対し、表５は、数字/FIVE/および/NINE/の両方の「意識」状態を持つＨＡ−ＧＲＮＮにより得られたコンフュージョンマトリックスを示している。
【表５】
0004925235.tif 000014
【０１２０】
この場合にも、数字/NINE/の「意識」状態を持つ場合と同様に、２つの数字に対する合計で１６個のセントロイドがそれぞれサブネット６および１０に追加される。（このため、ＬＴＭネット１〜３内のセントロイドの総数は最終的に１０１まで増加する。）表２の場合と比較して、数字/FIVE/に対する汎化特性は、数字/ZERO/、/THREE/および/NINE/と同様に、劇的に改良された。
【０１２１】
これらの結果から、数字/NINE/に対する性能の改良は両方とも期待されたものではなかったので、数字/NINE/に対するパターン空間は他の数字に比べて完全にカバーすることがより難しいことが分かる。
【０１２２】
このように本実施例によれば、シミュレーション実験により、ＨＡ−ＧＲＮＮの発展プロセスの正当性がパターン分類タスクの範囲内で確かめられた。具体的には、汎化特性の有効性が調査され、ｋ平均クラスタリング手法を用いた従来のＧＲＮＮに比べて優位性が確認された。
【０１２３】
参考文献
[1] G. Matsumoto, Y. Shigematsu, and M. Ichikawa,``The brain as a computer,'' in Proc. Int. Conf. Brain Processes, Theories and Models, MIT Press: Cambridge, MA, 1995.
[2] I. Aleksander, ``Impossible minds: my neurons, my consciousness,'' Imperial College Press, 1996.
[3] R. A. Brooks, ``From earwigs to humans,'' Proc. Int. Symp. ``Concept formation, thinking, and their development'', Int. Inst. Advanced Studies, Kyoto, 1996.
[4] R. A. Brooks, ``A robust layered control system for a mobile robot,'' IEEE J. Robotics and Automation, RA-2-1, pp. 14-23, 1986.
[5] T. Kitamura, Y. Otsuka, and Y. Nakao, ``Imitation of animal behavior with use of a model of consciousness - behavior relation for a small robot,'' Proc. 4th IEEE Int. Workshop on Robot and Human Communication, pp. 313-316, Tokyo, 1995.
[6] D. F. Specht, ``A general regression neural network,'' IEEE Trans. Neural Networks, Vol. 2, No. 6, pp.568-576, Nov, 1991.
[7] S. Haykin, ``Neural networks: a comprehensive foundation'', Macmillan College Publishing Co. Inc., 1994.
[8] T. Hoya and J. A. Chambers, ``Heuristic pattern correction scheme using adaptively trained generalized regression neural networks,'' IEEE Trans. Neural Networks, Vol. 12, No. 1, pp. 91-100, Jan. 2001.
[9] R. C. Atkinson and R. M. Shiffrin, ``Human memory: a proposed system and its control processes,'' in K. W. Spence and J. T. Spence (Eds.), The Psychology of Learning and Motivation, Vol. 2, pp. 89-195, New York:Academic Press, 1968.
[10] D. A. Reynold and R. C. Rose, ``Robust text-independent speaker identification using Gaussian mixture speaker models,'' IEEE Trans. Speech and Audio Processing, Vol. 3, No. 1, Jan. 1995.
[11] V. Vapnik, ``The nature of statistical learning theory,'' Springer Verlag, New York, 1995.
[12] Papers in the proceedings of IEEE International Workshop on Neural Networks for Signal Processing.
[13] P. D. Wasserman, ``Advanced methods in neural computing - in Chapter 8, Radial-basis function networks,'' pp. 147-176, Van Nostrand Reinhold, New York, 1993.
[14] J. G. Taylor, B. Horwitz, N. J. Shah, W. A. Fellenz, H.-W. Mueller-Gaertner, and J. B. Krause, ``Decomposing memory: functional assignments and brain traffic in paired word associate learning,'' Neural Networks, Vol. 13, No. 8-9, pp. 923-940, Oct./Nov. 2000.
[15] M. S. Gazzaniga, R. B. Irvy, and G. R. Mangun, ``Cognitive neuroscience - the biology of the mind: Chapter 7: memory systems,'' W. W. Norton \& Company, New York/London, 1998.
[16] O. Hikosaka, S. Miyachi, K. Miyashita, and M. K. Rand, ``Procedural learning in monkeys - possible roles of the basal ganglia,'' in ``Perception, memory and emotion: frontiers in neuroscience,'' pp. 403-420, eds. T. Ono, B. L. McNaughton, S. Molotchnikoff, E. T. Rolls, andH. Nishijo, Elsevier, 1996.
[17] Y. Shigematsu, M. Ichikawa, and G. Matsumoto, ``Reconstitution studies on brain computing with the neural network engineering,'' in ``Perception, memory and emotion: frontiers in neuroscience,'' pp. 581-599, eds. T. Ono, B. L. McNaughton, S. Molotchnikoff, E. T. Rolls, andH. Nishijo, Elsevier, 1996.
[18] L. R. Squire, ``Memory and brain,'' Oxford Univ. Press, New York/Oxford, 1987.
[19] M. Minsky, ``Emotions and the Society of Mind,'' in Emotions and Psychopathology, Manfred Clynes and Jack Panksepp, eds., Plenum Press, N.Y., 1988.
[20] C. I. Hovland, ``Human learning and retention,'' in: Handbook of experimental psychology, pp. 613-689, S. S. Stevens (ed.), John Wiley, 1951.
[21] P. A. Kolers, ``Reading a year later,'' J. Exp. Psychol.: Human learn. and memory, Vol. 2, pp. 554-565, 1976.
[22] Sir J. Eccles, ``Evolution of consciousness,'' in ``Brain mechanisms of perception and memory: from neuron to behavior,'' eds. T. Ono, L. R. Squire, M. E. Raichle, D. I. Perrett, and M. Fukuda, Oxford Univ. Press, 1993.
[23] M. Jibu and K. Yasue, ``Quantum brain dynamics and consciousness: an introduction,'' John Benjamins, Amsterdam, 1995.
[24] N. Matsumoto, ``The brain and biophysics,'' Kyo-ritsu Shuppan Press, 1997 (in Japanese).
[25] M. Huckvale, ``Speech Filing System Vs3.0 -- Computer Tools For Speech Research'', University College London, Mar. 1996.
[26] J. R. Deller Jr, J. G. Proakis, and J. H. L. Hansen, ``Discrete-Time Processing of Speech Signals'', Macmillan, NJ, 1993.
[27] J. B. MacQueen, ``Some Methods for Classification and Analysis of Multivariate Observations'', in Proc. Symp. Matho. Stat. Prob., 5th ed. Berkeley, CA: Univ. of Calif. Press, Vol. 1, pp. 281-297, 1967.
【０１２４】
【発明の効果】
以上説明したように本発明によれば、脳の精神的な機能である「直感」および「意識」状態を比較的簡単な人工ニューラルネットワークモデル（既存のニューラルネットワーク素子等により表現可能なモデル）を用いて具現化することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る重構造化一般回帰型ニューラルネットワーク（ＨＡ−ＧＲＮＮ）の前提となる一般回帰型ニューラルネットワーク（ＧＲＮＮ）を説明するための図。
【図２】本発明の一実施の形態に係る重構造化一般回帰型ニューラルネットワーク（ＨＡ−ＧＲＮＮ）の全体構成を示す概念図。
【図３】図２に示すＨＡ−ＧＲＮＮのＳＴＭネットワークの詳細を示す図。
【図４】図２に示すＨＡ−ＧＲＮＮのＬＴＭネット１の詳細を示す図。
【図５】本発明の一実施の形態に係る重構造化一般回帰型ニューラルネットワーク（ＨＡ−ＧＲＮＮ）の発展プロセスを説明するためのフローチャート。
【図６】本発明の一実施例（シミュレーション実験）における発展プロセスのスケジューリングの一例を示す図。
【図７】本発明の一実施の形態が適用されるコンピュータシステムの一例を示す図。
【符号の説明】
１０  重構造化一般回帰型ニューラルネットワーク（ＨＡ−ＧＲＮＮ）
１１  ＳＴＭネットワーク
１２  ＬＴＭネットワーク群
１３  決定ユニット
【図１】
0004925235.tif 000015
【図２】
0004925235.tif 000016
【図３】
0004925235.tif 000017
【図４】
0004925235.tif 000018
【図５】
0004925235.tif 000019
【図６】
0004925235.tif 000020
【図７】
0004925235.tif 000021