(57)【特許請求の範囲】
【請求項１】
核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する複数のＲＢＦ素子を含むニューラルネットワーク部であって、それぞれ異なる感覚入力に対応する複数の入力ベクトルが入力されるニューラルネットワーク部と、
外部から与えられる前記複数の入力ベクトルに関連して時系列的に追加又は発火した前記ＲＢＦ素子同士を相互に結合し、相互に結合された前記ＲＢＦ素子間のウェイト係数を設定するネットワーク制御部とを備え、
前記ニューラルネットワーク部の前記各ＲＢＦ素子は、当該各ＲＢＦ素子が外部から与えられた入力ベクトルにより活性化されたときに、核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する一方で、当該各ＲＢＦ素子が当該各ＲＢＦ素子に結合された他のＲＢＦ素子の発火に起因して連鎖的に活性化されたときに、当該他のＲＢＦ素子から出力された発火の強さ及び当該他のＲＢＦ素子の間とのウェイト係数の積和を擬似的な発火の強さとすることを特徴とする相互結合型ニューラルネットワークシステム。
【請求項２】
前記ニューラルネットワーク部の前記各ＲＢＦ素子は、相互に結合された他のＲＢＦ素子の発火に起因して連鎖的に活性化されたときに、前記擬似的な発火の強さとともに当該各ＲＢＦ素子のセントロイドベクトルを生成することを特徴とする、請求項１に記載の相互結合型ニューラルネットワークシステム。
【請求項３】
前記ネットワーク制御部は、前記ニューラルネットワーク部に外部から与えられる複数の入力ベクトルに関連して時系列的に追加又は発火したＲＢＦ素子の順序に基づいて、前記ニューラルネットワーク部の前記各ＲＢＦ素子のうち互いに関係のあるＲＢＦ素子同士を相互に結合することを特徴とする、請求項１又は２に記載の相互結合型ニューラルネットワークシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人工ニューラルネットワーク構造に係り、とりわけ、構成の柔軟性及び学習の容易性に優れた新しいネットワーク形態を備えた相互結合型ニューラルネットワークシステム、相互結合型ニューラルネットワーク構造の構築方法、自己組織化ニューラルネットワーク構造の構築方法及びそれらの構築プログラムに関する。
【背景技術】
【０００２】
従来の人工ニューラルネットワーク構造としては、単一の入力ベクトルを入力とする階層型ネットワーク等の固定的なネットワーク形態において、ウェイトベクトル等のネットワークパラメータの調整を行うものが一般的である。ここで、ネットワークパラメータの調整を行う手法としては、ネットワークパラメータを逐次的に更新する誤差逆伝播（backpropagation）法が広く用いられている（非特許文献１）。
【０００３】
しかしながら、上述した従来の人工ニューラルネットワーク構造では、ネットワークパラメータの調整を行う手法として、誤差逆伝播法のような、ネットワークパラメータを逐次的に更新していく逐次型の学習アルゴリズム（iterative training scheme）が用いられているので、(1)入出力の結び付けがきちんと行われるまでのネットワークパラメータの更新に多大な時間がかかる、(2)ネットワークパラメータを更新した結果得られる解が局所解（local minima）に陥りやすく、正しい解が得られにくい、(3)ロバストな追加学習法を実現することが困難である、という問題がある。
【０００４】
また、上述したような従来の人工ニューラルネットワーク構造では、構成の柔軟性が乏しく、複数の入力ベクトルを扱うことができるような実際上有用な手法が確立されていないという問題がある。
【０００５】
なお、人工ニューラルネットワーク構造において複数の入力ベクトルを扱うための従来の手法としては、様々なニューラルネットワーク（もしくはエージェント）をモジュール化してそれらを統合するというようなアプローチ（modular approach）が考えられている（非特許文献２）。
【０００６】
しかしながら、このような手法でも、一つ一つのネットワークモジュールについては、従来のものと同様に、逐次的な学習アルゴリズムをベースにした、ネットワーク形態の固定された人工ニューラルネットワーク構造が用いられるので、上述したような本質的な問題が依然として存在している。
【非特許文献１】D. E. Rumelhart, G. E. Hinton, and R. J. Williams, "Learning internal representations by error propagation," In D. E. Rumelhart and J. L. McClelland (Eds.), Parallel Distributed Processing: explorations in the microstructure of cognition, 1, Chapter 8, Cambridge, MA, MIT Press, 1986.
【非特許文献２】S. Haykin, "Neural Networks: A Comprehensive Foundation," Macmillan College Publishing Co. Inc., N.Y., 1994.
【発明の開示】
【発明が解決しようとする課題】
【０００７】
このような背景の下で、本発明者は先に、ラジアル基底関数（ＲＢＦ：Radial Basis Function）に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力するＲＢＦニューラルネットワーク構造（文献：『S. Haykin, “Neural networks: A Comprehensive Foundation,” Macmillan College Publishing Co. Inc., N.Y., 1994.』参照）を応用した新規なニューラルネットワーク構造を提案している（特願２００１−２９１２３５号参照）。また、本発明者は、ＲＢＦニューラルネットワーク構造に含まれる各ＲＢＦ素子同士を連携させて記憶連鎖の機能を実現する手法を提案している（特願２００２−１００２２３号参照）。
【０００８】
本発明は、上記特願２００１−２９１２３５号及び特願２００２−１００２２３号で提案した方法をさらに発展させたものであり、複数の入力ベクトルを入力とするようなネットワーク形態を自在にとることができ、かつ、人工ニューラルネットワーク構造の追加学習も容易に行うことができる、相互結合型ニューラルネットワークシステム、相互結合型ニューラルネットワーク構造の構築方法、自己組織化ニューラルネットワーク構造の構築方法及びそれらの構築プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、第１の解決手段として、核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する複数のニューロンを含むニューラルネットワーク部と、前記ニューラルネットワーク部の前記各ニューロンのうち互いに関係のあるニューロン同士をウェイト係数を介して相互に結合することにより人工ニューラルネットワーク構造を構築するネットワーク制御部とを備え、前記ニューラルネットワーク部の前記各ニューロンは、当該各ニューロンが外部から与えられた入力ベクトルにより活性化されたときに、核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する一方で、当該各ニューロンが当該各ニューロンに結合された他のニューロンの発火に起因して連鎖的に活性化されたときに、当該他のニューロンから出力された発火の強さに基づいて得られた擬似的な発火の強さを出力することを特徴とする相互結合型ニューラルネットワークシステムを提供する。
【００１０】
なお、上述した第１の解決手段において、前記ニューラルネットワーク部の前記各ニューロンは、相互に結合された他のニューロンの発火に起因して連鎖的に活性化されたときに、前記擬似的な発火の強さとともに当該各ニューロンのセントロイドベクトルを出力することが好ましい。
【００１１】
また、上述した第１の解決手段において、前記ネットワーク制御部は、前記ニューラルネットワーク部に外部から与えられる複数の入力ベクトルに関連して時系列的に追加又は発火したニューロンの順序に基づいて、前記ニューラルネットワーク部の前記各ニューロンのうち互いに関係のあるニューロン同士を相互に結合することが好ましい。
【００１２】
さらに、上述した第１の解決手段において、前記ネットワーク制御部は、前記ニューラルネットワーク部の前記各ニューロンの発火の度合いに基づいて当該各ニューロン間を結び付けるウェイト係数を学習することが好ましい。
【００１３】
さらに、上述した第１の解決手段において、前記ネットワーク制御部は、前記ニューラルネットワーク部の前記各ニューロンの発火の度合いに基づいて決定される所定のタイミングで当該各ニューロンを除去することが好ましい。
【００１４】
さらにまた、上述した第１の解決手段において、前記ニューラルネットワーク部の前記各ニューロンは、前記セントロイドベクトルとして時系列的な推移を考慮した行列形式のセントロイドデータを用いる中間層ニューロンであり、当該各中間層ニューロンに結合された出力層ニューロンにおいて、前記各中間層ニューロンから出力された発火の強さの変遷を時系列的に出力することが好ましい。
【００１５】
本発明は、第２の解決手段として、核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する複数のニューロンからなる人工ニューラルネットワーク構造であって、前記各ニューロンのうち互いに関係のあるニューロン同士がウェイト係数を介して相互に結合された人工ニューラルネットワーク構造を準備するステップと、前記各ニューロンの発火の度合いに基づいて当該各ニューロン間を結び付けるウェイト係数を学習するステップとを含むことを特徴とする、相互結合型ニューラルネットワーク構造の構築方法を提供する。
【００１６】
なお、上述した第２の解決手段においては、前記人工ニューラルネットワーク構造を準備するステップにおいて、外部から与えられる複数の入力ベクトルに関連して時系列的に追加又は発火したニューロンの順序に基づいて、前記各ニューロンのうち互いに関係のあるニューロン同士を相互に結合することが好ましい。
【００１７】
また、上述した第２の解決手段においては、前記各ニューロンの発火の度合いに基づいて決定される所定のタイミングで当該各ニューロンを除去するステップをさらに含むことが好ましい。
【００１８】
本発明は、第３の解決手段として、核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する複数のニューロンからなる自己組織化ニューラルネットワーク構造であって、前記各ニューロンのうち互いに関係のあるニューロン同士が入力ベクトルに基づいて自律的に結合されてなる自己組織化ニューラルネットワーク構造を構築する、自己組織化ニューラルネットワーク構造の構築方法において、外部から入力された１番目の入力ベクトルに基づいて、当該入力ベクトルを核関数のセントロイドベクトルとして持つニューロンを新たなニューロンとして自己組織化ニューラルネットワーク構造内に追加する第１のステップと、外部から入力されたｎ（ｎは２以上の整数）番目の入力ベクトルのそれぞれに基づいて、以下の(a)〜(c)の処理、すなわち、(a)外部から入力されたｎ番目の入力ベクトルに基づいて、自己組織化ニューラルネットワーク構造内の全てのニューロンの発火の度合いを計算する処理、(b)上記(a)の処理において自己組織化ニューラルネットワーク構造内の一つ又は複数のニューロンの中に所定の閾値を越えて活性化したニューロンがないと判断された場合に、ｎ番目の入力ベクトルを核関数のセントロイドベクトルとして持つニューロンを新たなニューロンとして自己組織化ニューラルネットワーク構造内に追加する処理、及び(c)自己組織化ニューラルネットワーク構造内の各ニューロンの発火の度合いに基づいて当該各ニューロン間を結び付けるウェイト係数の形成及び／又は既存のウェイト係数の学習を行う処理、を繰り返す第２のステップとを含むことを特徴とする、自己組織化ニューラルネットワーク構造の構築方法を提供する。
【００１９】
なお、上述した第３の解決手段においては、前記第２のステップにおいて、(d)前記自己組織化ニューラルネットワーク構造内の各ニューロンの発火の度合いに基づいて不要となったニューロンを除去する処理をさらに行うことが好ましい。
【００２０】
また、上述した第３の解決手段においては、前記自己組織化ニューラルネットワーク構造内の各ニューロンは最終的な出力値に関連するクラスラベルを保持し、前記第２のステップの前記(c)の処理において、前記自己組織化ニューラルネットワーク構造内の各ニューロンが持つクラスラベルが同一である場合にのみ当該各ニューロンの発火の度合いに基づいて当該各ニューロン間を結び付けるウェイト係数の形成及び／又は既存のウェイト係数の学習を行うことが好ましい。
【００２１】
さらに、上述した第３の解決手段において、前記自己組織化ニューラルネットワーク構造内の各ニューロンは、単一のモダリティ（例えば聴覚モダリティ又は視覚モダリティ）を持っていてもよく、また、互いに異なる複数のモダリティ（例えば聴覚モダリティ及び視覚モダリティの両方）を持っていてもよい。
【００２２】
なお、上述した第３の解決手段において、前記各ニューロンで用いられる前記核関数はラジアル基底関数を含むことが好ましい。
【００２３】
本発明は、第４の解決手段として、上述した第２の解決手段又は第３の解決手段における方法をコンピュータに対して実行させることを特徴とする、相互結合型ニューラルネットワーク構造又は自己組織化ニューラルネットワーク構造の構築プログラムを提供する。
【００２４】
本発明は、第５の解決手段として、核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する複数の中間層ニューロンであって、前記セントロイドベクトルとして時系列的な推移を考慮した行列形式のセントロイドデータを用いる複数の中間層ニューロンと、前記各中間層ニューロンに結合された出力層ニューロンであって、前記各中間層ニューロンから出力された発火の強さの変遷を時系列的に出力する出力層ニューロンとを備えたことを特徴とする相互結合型ニューラルネットワークシステムを提供する。
【００２５】
なお、上述した第１乃至第５の解決手段における核関数（カーネル関数）とは、ある２つのベクトルの関係を出力する関数をいう（文献：『N. Cristianini and J. S. Taylor, "An Introduction to Support Vector Machines, Cambridge Univ. Press, 2000.』参照）。このような核関数としては任意のものを用いることができるが、２つのベクトルの相互関係を距離で表してその度合いをスカラー形式で出力するようなガウス関数等に基づくラジアル基底関数や、ノルムを利用した関数、２つベクトルの間の内積を利用した関数、イパネクニコフ平方（Epanechinikov quadratic）や立方（Tri-cube）を利用した関数等が一般的に好ましく用いられる。
【発明の効果】
【００２６】
本発明の第１乃至第４の解決手段によれば、各ニューロンのうち互いに関係のあるニューロン同士をウェイト係数を介して相互に結合することにより人工ニューラルネットワーク構造を構築し、各ニューロンは、外部から与えられた入力ベクトルにより活性化されたときに、核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力する一方で、当該各ニューロンに結合された他のニューロンの発火に起因して連鎖的に活性化されたときに、当該他のニューロンから出力された発火の強さに基づいて得られた擬似的な発火の強さを出力するようにしている。このため、１つのニューロンが複数のネットワークに跨って属することが可能となり、また、複数のニューロンを任意のネットワーク形態で結合することが可能となるので、単一の入力ベクトルを入力とする従来の固定的なネットワーク形態とは異なり、複数の入力ベクトルを自在に扱うことが可能で、かつ、構成の変更等を柔軟に行うことができる。またこの場合、ニューロンがモダリティの異なる複数のネットワークに跨って属することが可能となるので、聴覚モダリティ及び視覚モダリティのような互いに異なる複数のモダリティを持つ入力ベクトルを自在に扱うことが可能となり、シングルドメインのパターン認識に限らずマルチドメインのパターン認識にも幅広く適用することが可能となる。
【００２７】
また、本発明の第１乃至第４の解決手段によれば、相互に結合されたニューロン間を結び付けるウェイト係数を更新することにより学習を行うので、人工ニューラルネットワーク構造の追加学習を容易に行うことができる。
【００２８】
さらに、本発明の第１乃至第４の解決手段によれば、ニューロンの出力から独立した形で、ニューロン間を結び付けるウェイト係数を更新することができるので、従来の誤差逆伝播法のような学習アルゴリズムとは異なり、ウェイト係数の学習時に各ニューロンに保存されたデータそのものに全く影響がなく、ニューロンにセントロイドベクトルという形でデータを局在的に保存しながら、ニューロン同士の結合関係を規定するために分散的に保存されているウェイト係数のみを逐次的に更新することができる。このため、分散性及び局在性という異なる特徴を備えたデータ表現を実現することが可能となり、汎化能力及び追加学習能力をも持ち合わせたメモリー素子の構築が可能になる。
【００２９】
さらに、本発明の第１乃至第４の解決手段によれば、セントロイドベクトルとして時系列的な推移を考慮した行列形式のセントロイドデータを用いる複数の中間層ニューロンを設け、当該各中間層ニューロンに結合された出力層ニューロンにおいて、当該各中間層ニューロンから出力された発火の強さの変遷を時系列的に出力することにより、データベースのインクリメンタルサーチ機能のように、時間の推移とともに最終候補が絞られてゆくような認知システムを容易に構築することができる。
【００３０】
本発明の第５の解決手段によれば、セントロイドベクトルとして時系列的な推移を考慮した行列形式のセントロイドデータを用いる複数の中間層ニューロンを設け、当該各中間層ニューロンに結合された出力層ニューロンにおいて、当該各中間層ニューロンから出力された発火の強さの変遷を時系列的に出力するようにしているので、データベースのインクリメンタルサーチ機能のように、時間の推移とともに最終候補が絞られてゆくような認知システムを容易に構築することができる。
【発明を実施するための形態】
【００３１】
以下、図面を参照して本発明の実施の形態について説明する。
【００３２】
＜全体構成＞
まず、図１により、本発明の一実施の形態に係る相互結合型ニューラルネットワークシステムの全体構成について説明する。
【００３３】
図１に示すように、相互結合型ニューラルネットワークシステム１０は、ニューラルネットワーク部１１と、ニューラルネットワーク部１１を制御するネットワーク制御部１２とを有している。
【００３４】
このうち、ニューラルネットワーク部１１は、複数の入力ベクトルｘ１，ｘ２，…，ｘｎ（以下、下線付きの英字はベクトルを表す）を入力として複数の出力（スカラー）ｏ１，ｏ２，…，ｏＮｏを出力するものであり、ラジアル基底関数（ＲＢＦ：Radial Basis Function）に従って入力ベクトルｘ１，ｘ２，…，ｘｎに応じた発火の強さを出力する複数のＲＢＦ素子（ニューロン）を含む。
【００３５】
また、ネットワーク制御部１２は、ニューラルネットワーク部１１の各ＲＢＦ素子のうち互いに関係のあるＲＢＦ素子同士をウェイト係数を介して相互に結合することにより人工ニューラルネットワーク構造を構築するものである。
【００３６】
＜人工ニューラルネットワーク構造＞
図２は、図１に示すニューラルネットワーク部１１内に構築される人工ニューラルネットワーク構造の一例を示す図である。
【００３７】
図２に示すように、この人工ニューラルネットワーク構造は、３個の入力ベクトルｘ１，ｘ２，ｘ３を入力するための３個の入力層ニューロン１３と、入力層ニューロン１３を介して入力された入力ベクトルｘ１，ｘ２，ｘ３に応じた発火の強さを出力するＲＢＦ素子（中間層ニューロン）１４と、ＲＢＦ素子１４から出力された発火の強さに基づいて最終的な出力（スカラー）ｏ１，ｏ２，…，ｏＮｏを出力する出力層ニューロン１５とを有している。
【００３８】
ここで、中間層ニューロンである４つのＲＢＦ素子１４（ＲＢＦ１，ＲＢＦ２，ＲＢＦ３，ＲＢＦ４）はウェイト係数ｗｉｊを介して相互に結合されている。また、このようなＲＢＦ素子１４（ＲＢＦ１，ＲＢＦ２，ＲＢＦ３，ＲＢＦ４）はウェイト係数ｗｉｊ′を介して出力層ニューロン１５（ｏ１，ｏ２，…，ｏＮｏ）に結合されている。
【００３９】
＜ＲＢＦ素子＞
以下、図３により、ニューラルネットワーク部１１に含まれるＲＢＦ素子１４の詳細について説明する。
【００４０】
図３に示すように、ＲＢＦ素子１４は、ＲＢＦ本体部１６と、ポインター部１７と、ウェイト係数保持部１８と、生存期間変数保持部１９と、活性回数保持部２０とを有している。
【００４１】
このうち、ＲＢＦ本体部１６は、当該ＲＢＦ素子が外部から与えられた入力ベクトルｘにより活性化されたときに、ラジアル基底関数に従って入力ベクトルに応じた発火の強さを出力する一方で、当該ＲＢＦ素子が当該ＲＢＦ素子に結合された他のＲＢＦ素子の発火に起因して連鎖的に活性化されたときに、当該他のＲＢＦ素子から出力された発火の強さに基づいて得られた擬似的な発火の強さを出力するものである。
【００４２】
具体的には、ｉ番目のＲＢＦ素子１４（ＲＢＦｉ）のＲＢＦ本体部１６において、入力ベクトルｘが与えられたときの発火の強さｈｉ（ｘ）は次式（１）により表される。なお、次式（１）において、ｃｉはＲＢＦ素子１４（ＲＢＦｉ）のセントロイドベクトルを表し、σｉはラジウスを表す。
【数１】
0004771249.tif 000002
【００４３】
一方、ｉ番目のＲＢＦ素子１４（ＲＢＦｉ）のＲＢＦ本体部１６における擬似的な発火の強さｈｉは次式（２）により表される。なお、次式（２）において、ｈｋはｉ番目のＲＢＦ素子１４（ＲＢＦｉ）に結合された他のＲＢＦ素子１４（ＲＢＦｋ）のＲＢＦ本体部１６における発火の強さを表し、ｗｋｉはｉ番目のＲＢＦ素子１４（ＲＢＦｉ）と他のＲＢＦ素子１４（ＲＢＦｋ）との間を結び付けるウェイト係数を表し、Ｌｉはｉ番目のＲＢＦ素子１４（ＲＢＦｉ）に結合された他のＲＢＦ素子１４（ＲＢＦｋ）の数を表す。
【数２】
0004771249.tif 000003
【００４４】
なお、ＲＢＦ本体部１６は、当該ＲＢＦ素子（例えば、ｉ番目のＲＢＦ素子１４（ＲＢＦｉ））が当該ＲＢＦ素子に結合された他のＲＢＦ素子の発火に起因して連鎖的に活性化されたときには、上式（２）に示すような擬似的な発火の強さとともに当該ＲＢＦ素子（ＲＢＦｉ）のセントロイドベクトルｃｉを出力するようにしてもよい。
【００４５】
ポインター部１７は、互いに関係がある他のＲＢＦ素子に対するポインター情報を複数保持するものである。図３に示すように、ｉ番目のＲＢＦ素子１４（ＲＢＦｉ）のポインター部１７には、そのｉ番目のＲＢＦ素子１４（ＲＢＦｉ）に結合される他のＲＢＦ素子１４のアドレスが、符号ｐｉ，１〜ｐｉ，ｍａｘのそれぞれに保持されている。
【００４６】
ウェイト係数保持部１８は、相互に結合されているＲＢＦ素子間を結び付けるウェイト係数を保持するものである。図３に示すように、ｉ番目のＲＢＦ素子１４（ＲＢＦｉ）のウェイト係数保持部１８には、そのｉ番目のＲＢＦ素子１４（ＲＢＦｉ）に結合される他のＲＢＦ素子１４との間を結び付けるウェイト係数が、符号ｗｉ，１〜ｗｉ，ｍａｘのそれぞれに保持されている。なお、符号ｗｉ，１〜ｗｉ，ｍａｘに保持されているウェイト係数は、ポインター部１７に保持されているポインター情報ｐｉ，１〜ｐｉ，ｍａｘのそれぞれに対応している。
【００４７】
生存期間変数保持部１９は、ｉ番目のＲＢＦ素子１４（ＲＢＦｉ）の生存期間を決定する変数φｉを保持するカウンタである。
【００４８】
活性回数保持部２０は、ｉ番目のＲＢＦ素子１４（ＲＢＦｉ）が活性化した回数εｉを保存するカウンタである。
【００４９】
なお、このようなＲＢＦ素子１４からなる人工ニューラルネットワーク構造は、図２に示すように、複数のｘ１，ｘ２，ｘ３を入力として複数の出力（スカラー）ｏ１，ｏ２，…，ｏＮｏを出力するものであり、中間層ニューロンであるＲＢＦ素子１４（ＲＢＦ１，ＲＢＦ２，ＲＢＦ３，ＲＢＦ４）と出力層ニューロン１５（ｏ１，ｏ２，…，ｏＮｏ）とが、図２に示すような形態でウェイト係数ｗｉｊ′を介して結合されているものとすると、出力ｏｊ（ｊ＝１，２，…，Ｎｏ）は、次式（３）（４）により表される。なお、次式（３）（４）において、ｈｉはｊ番目の出力層ニューロン１５（ｏｊ）に結合されたＲＢＦ素子１４（ＲＢＦｉ）のＲＢＦ本体部１６における発火の強さを表し、ｗｉｊ′はｊ番目の出力層ニューロン１５（ｏｊ）とＲＢＦ素子１４（ＲＢＦｉ）との間を結び付けるウェイト係数を表し、Ｌｊはｊ番目の出力層ニューロン１５（ｏｊ）に結合されたＲＢＦ素子１４（ＲＢＦｉ）の数を表す。
【数３】
0004771249.tif 000004
【００５０】
また、出力ｏｊ（ｊ＝１，２，…，Ｎｏ）は、ＲＢＦ素子１４（ＲＢＦ１，ＲＢＦ２，ＲＢＦ３，ＲＢＦ４）の出力の総和ではなく、出力層ニューロン１５（ｏ１，ｏ２，…，ｏＮｏ）に結合されたＲＢＦ素子１４（ＲＢＦｉ：ｉ＝１，２，…，４）の発火の強さの最大値をとることによって求めてもよい。この場合には、出力ｏｊ（ｊ＝１，２，…，Ｎｏ）は、次式（５）により表される。
【００５１】
ｏｊ＝ｍａｘ（ｗｉｊｈｉ（ｘ））  …  （５）
＜ネットワーク形態＞
（相互結合型ネットワーク）
図２に示す人工ニューラルネットワーク構造では、４つのＲＢＦ素子１４（ＲＢＦ１，ＲＢＦ２，ＲＢＦ３，ＲＢＦ４）がウェイト係数ｗｉｊを介して相互に結合されており、全体として相互結合型ネットワークを構成している。このような相互結合型ネットワークシステムは、複数の入力ベクトルｘ１，ｘ２，ｘ３を自在に扱うことが可能な多入力−多出力（ＭＩＭＯ：multi-modal input multi output）システムであり、構成の変更等を柔軟に行うことができる。なお、この場合、各ＲＢＦ素子１４のセントロイドベクトルの大きさは、固定長でなく、入力ベクトルｘ１，ｘ２，ｘ３の種類に応じた可変長とすることが好ましい。これにより、幾つかの異なる感覚入力（音や画像等）を同時に処理して人間のような複合的なパターン認識を行うことができる。
【００５２】
なお、図１に示す相互結合型ニューラルネットワークシステム１０においては、ニューラルネットワーク部１１内に構築される人工ニューラルネットワーク構造として、図２に示すようなものに限らず、図４乃至図７に示すような任意のネットワーク形態をとることができる。
【００５３】
（双方向型ネットワーク）
図４は、図１に示すニューラルネットワーク部１１内に構築される人工ニューラルネットワーク構造の他の例を示す図である。図４に示す人工ニューラルネットワーク構造は、３つのＲＢＦ素子１４（ＲＢＦ１，ＲＢＦ２，ＲＢＦ３）がウェイト係数ｗ１３，ｗ２３を介して相互に結合されたものであり、フィードフォワード型及びフィードバック型の両方の性質を持つ双方向型ネットワークを構成している。
【００５４】
具体的には例えば、入力ベクトルｘ１が、片方の耳に相当する聴覚センサーから入力された入力ベクトルに対応し、入力ベクトルｘ２が、片目に相当する視覚センサーから入力された入力ベクトルに対応するものとし、入力ベクトルｘ１，ｘ２がそれぞれＲＢＦ１，ＲＢＦ２に入力されることにより、ＲＢＦ１，ＲＢＦ２がそれぞれ活性化されるものとする。次に、ＲＢＦ３が（言語学上の）語義ネットワーク（semantic network）等の陳述記憶（declarative memory）を表しているものとし、センサー等から入力された入力ベクトルｘ３ではなく、ウェイト係数ｗ１３，ｗ２３を介して結合されたＲＢＦ１，ＲＢＦ２の発火に起因して活性化されたときには、上式（２）に基づく次式（６）のようなルール、又は、次式（７）のようなルールに従って擬似的な発火の強さｈ３を決定するものとする。なお、次式（６）（７）では、｜ｗ１３ｈ１｜≦１及び｜ｗ２３ｈ２｜≦１という２つの条件が満たされることをあらかじめ仮定している。
【数４】
0004771249.tif 000005
【数５】
0004771249.tif 000006
【００５５】
この場合には、ＲＢＦ３から最終的に出力が得られたときには、信号の流れは、ｘ１，ｘ２→ＲＢＦ１，ＲＢＦ２→ＲＢＦ３となるので、図４に示す人工ニューラルネットワーク構造はフィードフォワード型の働きをなしていることになる。
【００５６】
なお、上式（６）（７）のうち、上式（７）の場合には、ＲＢＦ３ の出力がバイナリ型の出力（０又は１）となるので、条件反射（conditional reflexes）等のように、速いシナプス（synapse）間の情報の伝達を行う電気シナプスの特性を模倣することができると考えられる。それと対照的に、上式（６）の場合には、組織の微妙な調節を行う化学シナプスの特性を模倣することができると考えられる（文献：『山元大輔, 「脳と記憶の謎」, 講談社現代新書, 1997.』参照）。なお、ＲＢＦ３は、上記文献（『脳と記憶の謎』）によれば、「視覚刺激にしか反応しないニューロンと聴覚刺激にしか反応しないニューロンの両方から情報を譲り受けて、対象の全体的イメージをつくりあげる働きをしている」、複数の感覚を統合する脳細胞の役割を模倣するもの、もしくは、哲学でいう「ゲシュタルト（gestalt）」的な細胞の役割を模倣するものと考えられる。
【００５７】
一方、最初に、センサーから入力された入力ベクトルｘ３が与えられてＲＢＦ３が活性化されたとき、又は、最初に、思考メカニズム及び言語処理の過程で語義ネットワーク内においてウェイト係数を介して結合されたノードの活性化によりＲＢＦ３が活性化されたときには、上式（６）又は上式（７）と同様のルールに従ってＲＢＦ素子ｈ１，ｈ２がそれぞれ続けて活性化される。
【００５８】
この場合には、信号の流れは、ｘ３→ＲＢＦ３→ＲＢＦ１，ＲＢＦ２となるので、図４に示す人工ニューラルネットワーク構造はフィードバック型の働きをなしていることになる。このとき、このようなフィードバック型の働きを応用し、例えば「ウェイト係数を介して結合されたＲＢＦ１，ＲＢＦ２が活性化されたときには、その保存されているセントロイドベクトルｃ１，ｃ２も同時に出力する」というようにしておけば、ニューラルネットワークの出力から入力を復元して取り出すことが可能になる。具体的には例えば、「母親」という言葉から連想して、その母親の声（聴覚情報）及び顔（視覚情報）の特徴の両方を同時に取り出すことができる。
【００５９】
（木構造ネットワーク）
図５は、図１に示すニューラルネットワーク部１１内に構築される人工ニューラルネットワーク構造の他の例を示す図である。図５に示す人工ニューラルネットワーク構造は、図２及び図４に示す人工ニューラルネットワーク構造をさらに発展させたものであり、ディシジョンツリー（decision tree）で用いられるような木構造ネットワークを構成している。なお、図５に示す人工ニューラルネットワーク構造は、入力ベクトルが与えられるＲＢＦ素子１４（ＲＢＦ１，ＲＢＦ２，ＲＢＦ３，ＲＢＦ４，…）の他、入力ベクトルが直接入力されないＲＢＦ素子１４′（ＲＢＦ５）（感覚入力がなく情報の統合のみを行うようなニューロン）を含む。
【００６０】
（格子状ネットワーク）
図６は、図１に示すニューラルネットワーク部１１内に構築される人工ニューラルネットワーク構造のさらに他の例を示す図である。図６に示す人工ニューラルネットワーク構造は、図２及び図４に示す人工ニューラルネットワーク構造をさらに発展させたものであり、自己組織化マップ（ＳＯＦＭ：self-organising feature map）（文献：『T. Kohonen, "The self-organizing map," Proc. IEEE, vol. 78, pp. 1464-1480, 1990.』参照）等を模倣した格子状ネットワークを構成している。このような人工ニューラルネットワーク構造は、網膜（retina）等に見られるような視覚系のコラム構造を模倣するのに有用である。
【００６１】
（階層型ネットワーク）
図７は、図１に示すニューラルネットワーク部１１内に構築される人工ニューラルネットワーク構造のさらに他の例を示す図である。図７に示す人工ニューラルネットワーク構造は、図２及び図４乃至図６に示す人工ニューラルネットワーク構造とは異なり、図３に示すＲＢＦ素子１４を用いて従来の階層型ニューラルネットワークを構成したものである。
【００６２】
ここで、図７に示すような３層の階層型ニューラルネットワークを構成する場合、ＲＢＦ素子１４（ＲＢＦｉ：ｉ＝１，２，…，Ｎｈ）のポインター情報は、次式（８）に従って、
ｐｈｉ，１＝ｏ１，ｐｈｉ，２＝ｏ２，…，ｐｈｉ，Ｎｏ＝ｏＮｏ      …  （８）
と与えられる。
【００６３】
図７に示すような階層型ニューラルネットワークは、単一の入力ベクトルｘ＝［ｘ１，ｘ２，…，ｘＮｉ］Ｔを入力として複数の出力（スカラー）ｏ１，ｏ２，…，ｏＮｏを出力する一入力−多出力システム（ＳＩＭＯ：single-modal input multiple output）であり、中間層ニューロンであるＲＢＦ素子１４（ＲＢＦ１，ＲＢＦ２，…，ＲＢＦＮｈ）と出力層ニューロン１５（ｏ１，ｏ２，…，ｏＮｏ）とが、図７に示すような完全結合形態でウェイト係数ｗｉｊを用いて結合されているものとすると、出力ｏｊ（ｊ＝１，２，…，Ｎｏ）は、次式（９）（１０）（１１）により表される。なお、次式（９）（１０）（１１）において、ｈｉはＲＢＦ素子１４（ＲＢＦｉ）のＲＢＦ本体部１６における発火の強さを表し、ｗｉｊはｊ番目の出力層ニューロン１５（ｏｊ）とＲＢＦ素子１４（ＲＢＦｉ）との間を結び付けるウェイト係数を表し、ＮｈはＲＢＦ素子１４（ＲＢＦｉ）の数を表す。また、ｃｉはＲＢＦ素子１４（ＲＢＦｉ）のセントロイドベクトルを表し、σｉはラジウスを表す。
【数６】
0004771249.tif 000007
【００６４】
また、出力ｏｊ（ｊ＝１，２，…，Ｎｏ）は、このようなＲＢＦ素子１４（ＲＢＦ１，ＲＢＦ２，…，ＲＢＦＮｈ）の出力の総和ではなく、出力層ニューロン１５（ｏ１，ｏ２，…，ｏＮｏ）に結合されたＲＢＦ素子１４（ＲＢＦｉ：ｉ＝１，２，…，Ｎｈ）の発火の強さの最大値をとることによって求めてもよい。この場合には、出力ｏｊ（ｊ＝１，２，…，Ｎｏ）は、次式（１２）により表される。
【００６５】
ｏｊ＝ｍａｘ（ｗｉｊｈｉ（ｘ））  …  （１２）
次に、図１乃至図７に示す相互結合型ニューラルネットワークシステム１０の作用について説明する。
【００６６】
＜人工ニューラルネットワーク構造の構築＞
まず、図１に示す相互結合型ニューラルネットワークシステム１０において、ネットワーク制御部１２によりニューラルネットワーク部１１を制御し、ニューラルネットワーク部１１内において、外部から与えられる複数の入力ベクトルｘ１，ｘ２，…，ｘｎに基づいてＲＢＦ素子１４を適宜追加及び削除することにより、動的なパターン認識を実現する人工ニューラルネットワーク構造を構築する。
【００６７】
具体的には、次のステップ１及びステップ２に従って行われる。
【００６８】
ステップ１：ＲＢＦ素子の数Ｍが上限値Ｍｍａｘよりも小さい場合には、上式（１）で計算される発火の強さｈｉと、そのセントロイドベクトルｃｉ＝ｘとを持つＲＢＦ素子を、ニューラルネットワーク部１１に加える。
【００６９】
ステップ２：そうでない場合には、最も発火の弱いセントロイドの発火の強さ（例えば、ｊ番目のｈｊ）がｈｊ＜ｔｈである場合には、それを、セントロイドベクトルがｃｊ＝ｘとなる、新しいものに置き換える。
【００７０】
なおこのとき、外部から与えられる複数の入力ベクトルｘ１，ｘ２，…，ｘｎに関連して時系列的に追加又は発火したＲＢＦ素子１４の順序に基づいて、各ＲＢＦ素子１４のポインター部１７を用いて、各ＲＢＦ素子１４のうち互いに関係のあるＲＢＦ素子１４同士を相互に結合する。
【００７１】
具体的には例えば、ある時間ｔ＝ｔ１で、ＲＢＦ１が追加又は発火され、次いで、時間ｔ＝ｔ２で、ＲＢＦ２が追加又は発火されるとすると、図８に示すように、１つ前の時間ｔ１に追加又は発火されたＲＢＦ１のポインター情報ｐ１，１はＲＢＦ１の次に追加又は発火されたＲＢＦ２のアドレスを示す値に設定され、同時に、ＲＢＦ２のポインター情報ｐ２，１はＲＢＦ１のアドレスを示す値に設定される。また、同様にして、再度ＲＢＦ１が発火し、その直後に別のＲＢＦ素子（例えばＲＢＦ３）が引き続いて追加又は発火されたとすると、ＲＢＦ１の２番目のポインター情報ｐ１，２はＲＢＦ１の次に追加又は発火されたＲＢＦ３のアドレスを示す値に設定され、同時に、ＲＢＦ３のポインター情報ｐ３，１はＲＢＦ１のアドレスを示す値に設定される。
【００７２】
また、このようにして互いに関係のあるＲＢＦ素子１４同士が相互に結合される過程で、各ＲＢＦ素子１４のウェイト係数保持部１８を用いて、ウエイト係数が設定される。
【００７３】
具体的には例えば、図８に示すように、ＲＢＦ１とＲＢＦ２とが相互に結合される場合には、ＲＢＦ１の１番目のウェイト係数ｗ１，１及びＲＢＦ２の１番目のウェイト係数ｗ２，１に、ＲＢＦ１とＲＢＦ２との間を結び付けるウェイト係数がそれぞれ設定される。
【００７４】
＜ＲＢＦ素子間のウェイト係数の学習＞
なお、以上のようにしてニューラルネットワーク部１１内に人工ニューラルネットワーク構造を構築する過程においては、各ＲＢＦ素子１４の活性回数保持部２０を用いて、当該各ＲＢＦ素子１４の発火の度合いに基づいて当該各ＲＢＦ素子１４間を結び付けるウェイト係数を学習するようにするとよい。
【００７５】
具体的には、各ＲＢＦ素子１４間を結び付けるウェイト係数は、Hebbの法則（文献：『D. O. Hebb, "The Organization of Behavior," John Wiley & Sons, New York, 1949.』参照）を拡張し、「ウェイト係数を介して相互に結合された２つのＲＢＦ素子が、ある期間ｐ１内で２つとも発火し、その発火の度合いが、ある評価関数で与えられた閾値を越えたときに、そのウェイト係数の値を増加させるものとし、逆に、ある期間ｐ２内に、２つのＲＢＦ素子の片方もしくは両方ともが発火しなかった場合には、そのウェイト係数の値を減少させる」ものとする。
【００７６】
（ウェイト係数の更新のための第１のアルゴリズム）
具体的なアルゴリズム（第１のアルゴリズム）としては次のようなものを用いることができる。
【００７７】
(1)  ある期間ｐ１内に、２つのＲＢＦ素子（例えばＲＢＦｉとＲＢＦｊ（ｉ≠ｊ））の発火の回数εｉ，εｊが両方ともある閾値θｐ１を越えた場合、すなわち、次式（１３）を満たす場合には、
εｉ≧θｐ１，εｊ≧θｐ１        …  （１３）
ウェイト係数ｗｉｊは、次式（１４）に従って設定される（ただし、Δ１ｗｉｊ＞０）。
【００７８】
ｗｉｊ＝ｗｉｊ＋Δ１ｗｉｊ（ｗｉｊが存在している場合）
＝ｗｉｊ，ｍａｘ     （ｗｉｊ＞ｗｉｊ，ｍａｘの場合）    …  （１４）
＝ｗｉｎｉｔ       （ｗｉｊが存在していない場合）
(2)  逆に、ある期間ｐ２内に、ＲＢＦｉとＲＢＦｊのいずれか片方もしくは両方ともが、上式（１３）を満たさない場合には、ウェイト係数ｗｉｊは次式（１５）に従って設定される（ただし、Δ２ｗｉｊ＞０）。
【００７９】
ｗｉｊ＝ｗｉｊ−Δ２ｗｉｊ（ｗｉｊ＞ｗｉｎｉｔの場合）
ｗｉｊを消去          （そうでない場合）    …  （１５）
(3)  もし、ＲＢＦ素子が、期間ｐ３（≪ｐ１，ｐ２）内に他のＲＢＦ素子と結合されなければ、そのＲＢＦ素子はニューラルネットワークから除去される。
【００８０】
（ウェイト係数の更新のための第２のアルゴリズム）
また、上記第１のアルゴリズムに変えて、次の第２のアルゴリズムを用いることも可能である。なお、この第２のアルゴリズムは、Hebbの法則の一つである「ニューロンＡの軸索がニューロンＢを発火させるのに十分に近く、かつ、反復的にかつ永続的にその発火が起こるものとすると、何らかの成長プロセス又は代謝の変化が、ニューロンＢを発火させるニューロンの一つとしてのニューロンＡの効率性を増加させるような形でニューロンＡ及びニューロンＢの一つ又は両方に生じる。」という法則から神経心理学的な考察を経て導かれた以下の２つの仮定（仮定１及び仮定２）に基づくものである。
【００８１】
仮定１：２つのＲＢＦ素子が反復的に発火すると、これらのＲＢＦ素子の間に新たなウェイト係数が形成される。それから、このようなことが周期的に生じると、ウェイト係数の値は増加する。（なお、この仮定１では、上記Hebbの法則におけるニューロンＡ及びニューロンＢの間の隣接関係については考慮されていない。これは、第１に、後述するようなアルゴリズムを実際にハードウェア（例えばロボットのメモリーシステム等）上で実装する場合において、ＲＢＦ素子の位置関係を考慮する必要性が必ずしもないからである。また、第２に、上記Hebbの法則では、ニューロンＡの発火自体が、シナプスを介した他のニューロンの発火に起因して生じるかもしれないからである。なお、この第２の理由は次の仮定２を導くものである。）
仮定２：一つのＲＢＦ素子が発火し、かつ、そのＲＢＦ素子に接続されたウェイト係数の一つが他のＲＢＦ素子に接続されているときには、当該一つのＲＢＦ素子の発火はウェイト係数を介して当該他のＲＢＦ素子に送られる。ただし、この場合に他のＲＢＦ素子に送られる発火の度合いはウェイト係数の値に依存するものとなる。
【００８２】
上記仮定１及び仮定２に基づいて得られる第２のアルゴリズムは次のとおりである。
【００８３】
(1)  ２つのＲＢＦ素子（例えばＲＢＦｉとＲＢＦｊ（ｉ≠ｊ））の間にウェイト係数ｗｉｊが既に存在している場合には、その値を次式（１５−１）により減少させる。
【００８４】
ｗｉｊ＝ｗｉｊ・ｅｘｐ（−ξｉ）      …  （１５−１）
(2)  ２つのＲＢＦ素子（例えばＲＢＦｉとＲＢＦｊ（ｉ≠ｊ））が連続的にｐ回に亘って発火した場合（すなわち、発火の度合いが所定の閾値以上（ＲＢＦｉ≧θＫ）である場合）には、ウェイト係数ｗｉｊは、次式（１５−２）に従って設定される。
【００８５】
ｗｉｊ＝ｗｉｎｉｔ       （ｗｉｊが存在していない場合）
＝ｗｉｊ，ｍａｘ     （ｗｉｊ＞ｗｉｊ，ｍａｘの場合）    …  （１５−２）
＝ｗｉｊ＋δ     （それ以外の場合）
(3)  ある期間ｐ１内に、ＲＢＦ素子（ＲＢＦｉ）が発火しなければ、ＲＢＦｉ及びそれに接続された全てのウェイト係数ｗｉ（＝［ｗｉ１，ｗｉ２，…］）がニューラルネットワークから除去される。（このことは、ニューロンであるＲＢＦ素子の消滅を表す。）
なお、上式（１５−１）（１５−２）において、ξｉ，ｗｉｎｉｔ，ｗｉｊ，ｍａｘ，δはいずれも正の定数である。
【００８６】
ここで、上記(1)(2)の処理は、Hebbの法則をより具体的に言い換えた次の法則(i)(ii)に合致するものである。
【００８７】
(i)  もし、一つのシナプスの両側に位置する２つのニューロンが非同期的に発火したならば、そのシナプスの強さは選択的に減少するか又はシナプス自体が除去される。
【００８８】
(ii)  もし、一つのシナプスの両側に位置する２つのニューロンが同時的に（すなわち同期的に）発火したならば、そのシナプスの強さは選択的に増加する。
【００８９】
このような言い換えられた法則(i)(ii)に合致するように、上記(1)の処理では、ウェイト係数の更新のために減衰係数ξｉが導入されており、これにより、シナプスの減衰又は消滅を模擬することができるようになっている。
【００９０】
なお、上述した法則(i)(ii)は、次の法則(a)(b)のように拡張して解釈することもできる。すなわち、(a)シナプスの減衰の量は短い期間では比較的小さいけれども常に生じる。また、(b)シナプスの減衰は、他のニューロンがある一つのニューロンの発火によって発火されたときにも生じる。
【００９１】
ここで、法則(a)は、ウェイト係数ｗｉｊの減衰係数であるξｉにより表される。一方、法則(b)は、シナプスの他側のポテンシャルが一側のポテンシャルよりも（わずかに）低いという前提により表される。この点については、神経解剖学的なレベルにおいて、スパイク状のパルスの移動率の変化又は長期抑制（ＬＴＤ）等により表される減衰によって、類似の状況が起こることが知られている。これらは、上述した言い換えられた法則(i)(ii)の修正を導くものであり、次の仮定３が導かれる。
【００９２】
仮定３：ＲＢＦ素子（ＲＢＦｉ）が入力ベクトルｘによって活性化し、かつ、そのＲＢＦｈｉがウェイト係数ｗｉｊを介して他のＲＢＦ素子（ＲＢＦｊ）に接続されているならば、ＲＢＦｊの発火の度合いｈｊは次式（１５−３）により求められる。
【００９３】
ｈｊ（ｘ）＝γｗｉｊＩｉ  …  （１５−３）
ここで、γは減衰係数（０≪γ≦１）であり、Ｉｉは次式（１５−４）により表されるインジケータ関数である。
【００９４】
Ｉｉ＝１    （ＲＢＦｉが発火した場合（ｈｉ≧θＫとなった場合））…  （１５−４）
＝０    （それ以外の場合）
なお、上式（１５−３）（１５−４）において、インジケータ関数Ｉｉは、ＲＢＦｉの発火によりＲＢＦｉで生成されたスパイク状のパルス（又は作用ポテンシャル）がシナプスを介して他のＲＢＦｊへ送られることを模擬するものである。上式（１５−３）（１５−４）は、既存のニューラルネットワークと異なり、ニューロンである各ＲＢＦ素子が通常の入力である入力ベクトルｘから離れて、二次的な入力（すなわち他のニューロンからの発火の転移）によっても発火することを示している。
【００９５】
（ウェイト係数の更新のための第３のアルゴリズム）
なお、第２のアルゴリズムは、次の第３のアルゴリズムのように修正することも可能である。なお、この第３のアルゴリズムは、後述する＜自己組織化ニューラルネットワーク構造の構築＞で用いられるＲＢＦ素子（すなわち、図１０に示すような、最終的な出力値に関連するクラスラベルηｉを保持するクラスラベル保持部２１を有するＲＢＦ素子１４″）を前提とするものである。
【００９６】
第３のアルゴリズムの具体的な内容は次のとおりである。
【００９７】
(1)  ２つのＲＢＦ素子（例えばＲＢＦｉとＲＢＦｊ（ｉ≠ｊ））の間にウェイト係数ｗｉｊが既に存在している場合には、その値を次式（１５−５）により減少させる。
【００９８】
ｗｉｊ＝ｗｉｊ・ｅｘｐ（−ξｉ）      …  （１５−５）
(2)  ２つのＲＢＦ素子（例えばＲＢＦｉとＲＢＦｊ（ｉ≠ｊ））が連続的にｐ回に亘って発火した場合（すなわち、発火の度合いが所定の閾値以上（ＲＢＦｉ，ＲＢＦｊ≧θＫ）である場合）で、かつ、ＲＢＦｉ，ＲＢＦｊのクラスラベルηｉ，ηｊが同一であるならば、ウェイト係数ｗｉｊは、次式（１５−６）に従って設定される。
【００９９】
ｗｉｊ＝ｗｉｎｉｔ       （ｗｉｊが存在していない場合）
＝ｗｉｊ，ｍａｘ     （ｗｉｊ＞ｗｉｊ，ｍａｘの場合）    …  （１５−６）
＝ｗｉｊ＋δ     （それ以外の場合）
(3)  ある期間ｐ１内に、ＲＢＦ素子（ＲＢＦｉ）が発火しなければ、ＲＢＦｉ及びそれに接続された全てのウェイト係数ｗｉ（＝［ｗｉ１，ｗｉ２，…］）がニューラルネットワークから除去される。（このことは、ニューロンであるＲＢＦ素子の消滅を表す。）
なお、上式（１５−５）（１５−６）において、ξｉ，ｗｉｎｉｔ，ｗｉｊ，ｍａｘ，δはいずれも正の定数である。
【０１００】
＜ＲＢＦ素子の生存期間の決定＞
また、以上のようにしてニューラルネットワーク部１１内に人工ニューラルネットワーク構造を構築する過程においては、各ＲＢＦ素子１４の生存期間変数保持部１９を用いて、当該各ＲＢＦ素子１４の発火の度合いに基づいて決定される所定のタイミングで当該各ＲＢＦ素子１４を除去するようにしてもよい。
【０１０１】
具体的には、ｉ番目のＲＢＦ素子１４（ＲＢＦｉ）の生存期間を決定する変数φｉは、時間ｔｉとともに単調減少する関数（例えば指数減衰関数）を用いて次式（１６）のように定義される（ただし、ａ＞０，ｔｉ≧０）。
【０１０２】
φｉ＝ｅｘｐ（−ａ・ｔｉ）    …  （１６）
上式（１６）のようにして定義される変数φｉにおいて、減少の度合いを決定する係数であるａの値は、時間ｔを基準にした所定の期間（Ｔ１≦ｔ≦Ｔ２）の間にｉ番目のＲＢＦ素子１４（ＲＢＦｉ）の出力が所定の閾値θｏｕｔを越えた場合には、次式（１７）に従って更新される（ただし、δａ＞０）。また、この場合には同時に、上式（１６）で用いられている時間ｔｉがｔｉ＝０に初期化される。
【０１０３】
ａ＝ａ−δａ  （ａ≧θａ）
＝θａ      （そうでない場合）      …  （１７）
そして、このようにして逐次更新される変数φｉにおいて、ｔｉ＝Ｔ２−Ｔ１のときのφｉが、φｉ＞θφ（θφは任意の閾値）である場合には、ｉ番目のＲＢＦ素子１４（ＲＢＦｉ）をネットワーク制御部１１から除去する。
【０１０４】
なお、上式（１６）（１７）において、係数ａの更新期間をｔ＋Ｔ１からｔ＋Ｔ２の間に限定したのは、心理学的な概念である慣れの要素に配慮したためであり、このような一定の遅延期間をおくことによりＲＢＦ素子の効率的な学習を行うことが可能になる（文献：『山元大輔, 「脳と記憶の謎」, 講談社現代新書, 1997.』参照）。
【０１０５】
＜遅延的要素を考慮したニューラルネットワークの出力＞
なお、ニューラルネットワーク部１１内に構築される人工ニューラルネットワーク構造の出力ｏｊ（ｊ＝１，２，…，Ｎｏ）は、上式（１）（２）（３）（４）に従って求められるが、これ以外にも、中間層ニューロンであるＲＢＦ素子１４から出力された発火の強さの変遷を時系列的に出力するようにしてもよい。
【０１０６】
具体的には、第１の出力形式として、ある期間Ｔの間のＲＢＦ素子１４の発火の統計をとり、その中の大きなもののうち、上からＮ（＜Ｔ）番目までのものを次式（１８）〜（２０）に従ってベクトル形式に列挙して最終的な出力とする方法を用いることができる。
【０１０７】
ｏｊ＝［ｏｊ（１），ｏｊ（２），…，ｏｊ（Ｎ）］Ｔ  …  （１８）
ここで、ｏｊ（ｌ）（ｌ＝１，２，…，Ｎ）は、
ｏｊ（ｌ）＝ｓｏｒｔ（ｍａｘ（θｉｊ（ｔ）））  …  （１９）
θｉｊ（ｔ）＝ｗｉｊｈｉ（ｘ（ｔ））  …  （２０）
である。
【０１０８】
なお、上式（１９）（２０）において、ｉはｊ番目の出力層ニューロンにウェイト係数ｗｉｊを介して結合された全てのＲＢＦ素子の番号、ｔはｔ＝０，１，…，Ｔ−１（時間）、ｓｏｒｔ（・）は降順に並べ替えを行う関数である。
【０１０９】
また、第２の出力形式として、ある期間Ｔの間のＲＢＦ素子１４の発火の度合いを次式（２１）（２２）に従ってスカラー形式で出力する方法を用いることもできる。
【０１１０】
ｏｊ＝ｆ（θｉｊ）  …  （２１）
ここで、θｉｊは、
θｉｊ＝［θｉｊ（０），θｉｊ（１），…，θｉｊ（Ｔ−１）］Ｔ  …  （２２）
である。
【０１１１】
なお、上式（２１）において、一例として、ｆ（・）は時間的な総和を求めるシグモイド関数とし、次式（２３）に従って求められてもよい（ただし、ｂは正の定数である）。
【数７】
0004771249.tif 000008
【０１１２】
なお、上述した第１及び第２の出力形式に従って、中間層ニューロンであるＲＢＦ素子１４から出力された発火の強さの変遷を時系列的に出力する場合には、各ＲＢＦ素子１４は、そのセントロイドベクトルｃｉとして時系列的な推移を考慮した行列形式のセントロイドデータを用いる。ｉ番目のＲＢＦ素子１４（ＲＢＦｉ）のセントロイド行列Ｃｉ（Ｎｉ×Ｔ）は、次式（２４）のように表される。
【数８】
0004771249.tif 000009
【０１１３】
ここで、セントロイド行列Ｃｉの最初の２行（すなわちｃ１，ｃ２）が
ｃ１＝［2 0 0 0 0.5 0 0 0 1 0 0 0 1 …］
ｃ２＝［0.5 1 2 0 0 0 0 0 1 0 1 0 0 …］
であるとすると、そのパルス列は、図９に示すようなものとなる。
【０１１４】
なお、上述した第１及び第２の出力形式では、ニューラルネットワークの最終的な出力は非同期的に与えられるので、一つ一つのＲＢＦ素子１４の出力を、大脳生理学においてニューロンからスパイク状に出力されるパルスとみなせば、パルスの大きさ及びパルス間の時間長の変動を利用して、複数のＲＢＦ素子１４間で情報を記憶させることが可能となり、いわゆるパルスドニューラルネットワーク（pulsed neural network）（文献：『J. E. Dayhoff and G. L. Gerstein, "Favored patterns in nerve spike trains I. Detection," J. Neurophys, 49 (6), 1334-1348, 1983).』参照）、又は、いわゆる時間遅延型ニューラルネットワーク（ＴＤＮＮ：time delay neural network）（文献：『K. J. Lang and G. E. Hinton, "The development of the time-delay neural network," Technical Report CMU-CS-88-152, Carnegie-Melon Univ., Pittsburgh, PA, 1988.』参照）のような記憶方式を実現することができる。
【０１１５】
なお、このような遅延的要素を考慮した人工ニューラルネットワーク構造を応用すると、例えば、データベースのインクリメンタルサーチ機能のように、時間の推移とともに最終候補が絞られてゆくような認知システムを構築することが可能になる。具体的には、ある最初の言葉の並び又は曲等のフレーズから、残りの文や曲を自動生成したり推定したりするような思考メカニズムを構築する場合等に応用することができる。
【０１１６】
＜自己組織化ニューラルネットワーク構造の構築＞
なお、以上においては、相互結合型ニューラルネットワークシステム１０のニューラルネットワーク部１１内において、図４乃至図７に示すような人工ニューラルネットワーク構造内のＲＢＦ素子間のウェイト係数を学習によって適宜更新していく過程を中心にして説明したが、ニューラルネットワーク部１１内において、ニューロンであるＲＢＦ素子が全く存在していない状態から、外部から与えられる複数の入力ベクトルｘ１，ｘ２，…，ｘｎに基づいてＲＢＦ素子の追加及びＲＢＦ素子間の結合（ＲＢＦ素子間のウェイト係数の形成及びＲＢＦ素子間のウェイト係数の値の更新）を自律的（非管理的）に行って人工ニューラルネットワーク構造（自己組織化ニューラルネットワーク構造）を構築（自己組織化）することも当然可能である。なお、このようにして構築される自己組織化ニューラルネットワーク構造内の各ＲＢＦ素子は、その全てが単一のモダリティ（例えば聴覚モダリティ又は視覚モダリティ）を持っていてもよく、また、互いに異なる複数のモダリティ（例えば聴覚モダリティ及び視覚モダリティの両方）を持っていてもよい。
【０１１７】
以下、このような自己組織化ニューラルネットワーク構造の構築方法について詳細に説明する。なお、このような自己組織化ニューラルネットワーク構造内の各ＲＢＦ素子（ＲＢＦｉ）としては、図１０に示すＲＢＦ素子１４″のように、最終的な出力値に関連するクラスラベルηｉを保持するクラスラベル保持部２１を用いるものとする。
【０１１８】
（自己組織化ニューラルネットワーク構造の構築フェーズ）
まず、自己組織化ニューラルネットワーク構造の構築フェーズ（学習フェーズ）について説明する。
【０１１９】
ステップ１：第１のステップ（ｃｎｔ＝１）として、外部から入力された１番目の入力ベクトルｘ（１）に基づいて、当該入力ベクトルｘ（１）をラジアル基底関数のセントロイドベクトルｃ１として持つＲＢＦ素子を新たなニューロンとして自己組織化ニューラルネットワーク構造内に追加する。
【０１２０】
ステップ２：第２のステップとして、ｃｎｔ＝２からｃｎｔ＝｛入力ベクトルの総数｝まで、以下の２．１〜２．３の処理が繰り返される。
【０１２１】
ステップ２．１：
(i)  外部から入力された入力ベクトルｘ（ｃｎｔ）に基づいて、自己組織化ニューラルネットワーク構造内の全てのＲＢＦ素子（ＲＢＦｉ）の発火の度合いｈｉを計算する。このとき、ｈｉ（ｘ（ｃｎｔ））≧θＫであるならば、そのＲＢＦｉは発火したものとなる。
【０１２２】
(ii) ＲＢＦ素子間でのウェイト係数（リンク）に基づく発火の原理（例えば上式（１５−３）（１５−４））に従って、ＲＢＦｉにウェイト係数ｗｉｊを介して接続されたＲＢＦｊの発火の度合いｈｊをチェックする。このとき、ｈｊ（ｘ（ｃｎｔ））≧θＫであるならば、そのＲＢＦｊは発火したものとなる。
【０１２３】
(iii) 上記(i)(ii)において発火したとされる全てのＲＢＦ素子をマークする。
【０１２４】
ステップ２．２：自己組織化ニューラルネットワーク構造内のＲＢＦ素子の中に、外部から入力された入力ベクトルｘ（ｃｎｔ）により発火したＲＢＦ素子（ＲＢＦｉ）が存在しないなら、入力ベクトルｘ（ｃｎｔ）をラジアル基底関数のセントロイドベクトルとして持つＲＢＦ素子を新たなニューロンとして自己組織化ニューラルネットワーク構造内に追加する。
【０１２５】
ステップ２．３：上述したウェイト係数の更新のための第１乃至第３のアルゴリズムのいずれかに従って、自己組織化ニューラルネットワーク構造内の各ＲＢＦ素子（ＲＢＦｉ）の発火の度合いｈｉに基づいて当該各ＲＢＦ素子（ＲＢＦｉ）間を結び付けるウェイト係数ｗｉｊの形成及び／又は既存のウェイト係数ｗｉｊの値の更新（学習）を行う。
【０１２６】
なお、上記ステップ２．３においては、上記第１乃至第３のアルゴリズムで述べたように、自己組織化ニューラルネットワーク構造内の各ＲＢＦ素子（ＲＢＦｉ）の発火の度合いｈｉに基づいて不要となったＲＢＦ素子（ＲＢＦｉ）を除去する処理を行うようにしてもよい。また、上記ステップ２．３においては、上記第３のアルゴリズムで述べたように、自己組織化ニューラルネットワーク構造内の各ＲＢＦ素子（ＲＢＦｉ）が持つクラスラベルが同一である場合にのみ当該各ＲＢＦ素子（ＲＢＦｉ）の発火の度合いｈｉに基づいて当該各ＲＢＦ素子（ＲＢＦｉ）間を結び付けるウェイト係数ｗｉｊの形成及び／又は既存のウェイト係数ｗｉｊの値の更新（学習）を行うようにしてもよい。
【０１２７】
（自己組織化ニューラルネットワーク構造の検証フェーズ）
次に、自己組織化ニューラルネットワーク構造の検証フェーズについて説明する。
【０１２８】
ステップ１：
(i)  外部から入力された入力ベクトルｘ（ｃｎｔ）（ｃｎｔ＝１〜｛入力ベクトルの総数｝）を自己組織化ニューラルネットワーク構造内に入力し、全てのＲＢＦ素子（ＲＢＦｉ）の発火の度合いｈｉを計算する。このとき、ｈｉ（ｘ（ｃｎｔ））≧θＫであるならば、そのＲＢＦｉは発火したものとなる。
【０１２９】
(ii) ＲＢＦ素子間でのウェイト係数（リンク）に基づく発火の原理（例えば上式（１５−３）（１５−４））に従って、ＲＢＦｉにウェイト係数ｗｉｊを介して接続されたＲＢＦｊの発火の度合いｈｊをチェックする。このとき、ｈj（ｘ（ｃｎｔ））≧θＫであるならば、そのＲＢＦjは発火したものとなる。
【０１３０】
(iii)上記(i)(ii)において発火したとされる全てのＲＢＦ素子をマークする。
【０１３１】
ステップ２：
(i)  自己組織化ニューラルネットワーク構造内の全てのマークされたＲＢＦ素子の中で、最大に発火したＲＢＦ素子の発火の度合いｈｍａｘ（＝ｍａｘ（ｈｉ（ｘ）））を得る。
【０１３２】
(ii) その後、もし自己組織化ニューラルネットワーク構造の構築の目的が何らかの認識の処理であるとするならば、その認識の結果の出力は単純に、対象となるＲＢＦ素子１４″のＲＢＦ本体部１６に設けられたクラスラベル保持部２１（図１０参照）からクラスラベルηｍａｘを出力することにより行われる。
【０１３３】
なお、以上においては、自己組織化ニューラルネットワーク構造内の各ＲＢＦ素子（ＲＢＦｉ）が、最終的な出力値に関連するクラスラベルηｉを保持しているものとして説明したが、各ＲＢＦ素子がクラスラベルηｉを保持するのではなく、クラスラベルを表すクラスラベル用ＲＢＦ素子を別途用意し、このクラスラベル用ＲＢＦ素子を対象となるＲＢＦ素子に接続するようにしてもよい。この場合には、自己組織化ニューラルネットワーク構造による認識の結果の出力は、対象となるＲＢＦ素子に接続されたクラスラベル用ＲＢＦ素子の発火の度合いをチェックすることにより行われる。
【０１３４】
より具体的には、この後者のアルゴリズムは次のとおりである。
【０１３５】
(1)  新たなＲＢＦ素子が自己組織化ニューラルネットワーク構造内に生成される。（この時点では、この新たなＲＢＦ素子のために生成されるウェイト係数は存在していない。）
(2)  その時点から数時点後に新たなカテゴリ（クラスラベル）を表すＲＢＦ素子が自己組織化ニューラルネットワーク構造内の新たなＲＢＦ素子として与えられる。
【０１３６】
(3)  その後に追加される新たなＲＢＦ素子は、上記の新たなカテゴリ（クラスラベル）を表すＲＢＦ素子にウェイト係数を介して接続される。
【０１３７】
このように本実施の形態によれば、ネットワーク制御部１２による制御の下で、ニューラルネットワーク部１１内の各ＲＢＦ素子１４のうち互いに関係のあるＲＢＦ素子１４同士をウェイト係数を介して相互に結合することにより人工ニューラルネットワーク構造を構築し、各ＲＢＦ素子１４は、外部から与えられた入力ベクトルｘにより活性化されたときに、ラジアル基底関数に従って入力ベクトルｘとセントロイドベクトルｃｉとの類似度に応じた発火の強さｈｉを出力する一方で、当該各ＲＢＦ素子１４に結合された他のＲＢＦ素子１４の発火に起因して連鎖的に活性化されたときに、当該他のＲＢＦ素子１４から出力された発火の強さｈｋに基づいて得られた擬似的な発火の強さｈｉを出力するようにしている。このため、１つのＲＢＦ素子１４が複数のネットワークに跨って属することが可能となり、また、複数のＲＢＦ素子１４を任意のネットワーク形態で結合することが可能となるので、単一の入力ベクトルを入力とする従来の固定的なネットワーク形態とは異なり、複数の入力ベクトルを自在に扱うことが可能で、かつ、構成の変更等を柔軟に行うことができる。またこの場合、ＲＢＦ素子１４がモダリティの異なる複数のネットワークに跨って属することが可能となるので、聴覚モダリティ及び視覚モダリティのような互いに異なる複数のモダリティを持つ入力ベクトルを自在に扱うことが可能となり、シングルドメインのパターン認識に限らずマルチドメインのパターン認識にも幅広く適用することが可能となる。
【０１３８】
また、本実施の形態によれば、ネットワーク制御部１２による制御の下で、ニューラルネットワーク部１１内の相互に結合されたＲＢＦ素子１４間を結び付けるウェイト係数を更新することにより学習を行うので、人工ニューラルネットワーク構造の追加学習を容易に行うことができる。
【０１３９】
さらに、本実施の形態によれば、ニューラルネットワーク部１１内のＲＢＦ素子１４の出力から独立した形で、ＲＢＦ素子１４間を結び付けるウェイト係数を更新することができるので、従来の誤差逆伝播法のような学習アルゴリズムとは異なり、ウェイト係数の学習時に各ＲＢＦ素子１４に保存されたデータそのものに全く影響がなく、ニューラルネットワーク部１１内のＲＢＦ素子１４にセントロイドベクトルという形でデータを局在的に保存しながら、ＲＢＦ素子１４同士の結合関係を規定するために分散的に保存されているウェイト係数のみを逐次的に更新することができる。このため、分散性及び局在性という異なる特徴を備えたデータ表現を実現することが可能となり、ミンスキーの提案した古典的なＫ−ｌｉｎｅｓ（knowledge-line）というアイデア（エージェントをシンボルベースのノードとみなし、その間をＫ−ｌｉｎｅｓでリンクするというアイデア）（文献：『M. Minsky, "The Society of Mind," Simon & Schuster, N.Y., 1985.』参照）と比較しても有利で、汎化能力及び追加学習能力をも持ち合わせたメモリー素子の構築が可能になる。
【０１４０】
さらに、本実施の形態において実現される人工ニューラルネットワーク構造は、一般回帰型ニューラルネットワーク（ＧＲＮＮ）及び確率論的ニューラルネットワーク（ＰＮＮ）と同様の特性を有するものであり、ネットワークの拡大及び縮小が容易で、かつ計算的な不安定要因が小さいという利点を有する。
【０１４１】
さらにまた、本実施の形態によれば、ニューラルネットワーク部１１内のＲＢＦ素子１４（ＲＢＦｉ）を、そのセントロイドベクトルｃｉとして時系列的な推移を考慮した行列形式のセントロイドデータを用いる中間層ニューロンとし、当該各中間層ニューロンに結合された出力層ニューロン１５（ｏｊ）において、各中間層ニューロンから出力された発火の強さの変遷を時系列的に出力することにより、データベースのインクリメンタルサーチ機能のように、時間の推移とともに最終候補が絞られてゆくような認知システムを容易に構築することができる。
【０１４２】
なお、上述した実施の形態においては、人工ニューラルネットワーク構造内のニューロンとして、ラジアル基底関数を持つＲＢＦ素子を用いる場合を例に挙げて説明しているが、ここでいう人工ニューラルネットワーク構造内のニューロンとしては、核関数に従って入力ベクトルとセントロイドベクトルとの類似度に応じた発火の強さを出力することが可能な任意のものを用いることができる。なお、ここでいう核関数としては、上述したように、ノルムを利用した関数、２つベクトル間の内積を利用した関数、イパネクニコフ平方（Epanechinikov quadratic）や立方（Tri-cube）を利用した関数等を用いることができる。
【０１４３】
また、上述した実施の形態においては、各ＲＢＦ素子１４のセントロイドベクトルｃｉとして、顔等の画像そのものから得られた特徴ベクトルを用いることができる他、より生物学的に妥当なモデルを考慮して、例えばHubelらによる大脳皮質第１次視覚野の研究（文献：『D. H. Hubel and T. N. Wiesel, "Receptive fields, binocular and functional architecture in the cat's visual cortex," Journal of Physiology, vol. 160, pp. 106-154, 1962.』参照）で明らかになった、ある特定の画像要素に反応するニューロンの働きを模倣し、線分やエッジ等の特徴ベクトルを用いることもできる。この後者の場合には、複数のＲＢＦ素子１４によって全体として顔等の画像を認識するような人工ニューラルネットワーク構造が構築される。
【０１４４】
さらに、上述した実施の形態に係る相互結合型ニューラルネットワークシステム１０は、ＲＢＦ素子１４をプログラマブルアレイとして実装する等の方法によりハードウェアとして実現することができる他、例えば、図１１に示すようなコンピュータシステム４０上で稼働するプログラムとしても実現することができる。ここで、コンピュータシステム４０は、バス４８と、バス４８に接続されたプロセッサ４１、メモリ４２及びハードディスク４３と、バス４８に接続された周辺機器（キーボードやマウス等の入力装置４４、ディスプレイやプリンタ等の出力装置４５、ＦＤドライブ４６及びＣＤ−ＲＯＭドライブ４７）とを備えている。そして、上述したようなプログラムは、メモリ４２やハードディスク４３、フレキシブルディスク４９及びＣＤ−ＲＯＭ５０等のようなコンピュータ読み取り可能な記録媒体に格納され、プロセッサ４１から逐次読み出されて実行されることにより上述したような手順を実現することができる。
【実施例】
【０１４５】
次に、上述した実施の形態の具体的実施例について述べる。
【０１４６】
問題の設定
自己組織化ニューラルネットワーク構造が実際にどのように構築されるのかを考察するため、直接的なパターン認識の処理として、自己組織化ニューラルネットワーク構造により排他的論理和（ＸＯＲ）の問題を解決する場合を取り上げる。
【０１４７】
ここで、自己組織化ニューラルネットワーク構造の各ＲＢＦ素子としては、図１０に示すようなＲＢＦ素子を用いた。なお、各ＲＢＦ素子のＲＢＦ本体部は、ラジウスσが１．０であるラジアル基底関数を持つものとした。また、発火の閾値θＫは０．７とした。さらに、自己組織化ニューラルネットワーク構造に入力される４つの入力ベクトルは、ｘ（１）＝［０．１，０．１］Ｔ、ｘ（２）＝［０．１，１．０］Ｔ、ｘ（３）＝［１．０，０．１］Ｔ、ｘ（４）＝［１．０，１．０］Ｔとした。
【０１４８】
そして、上述した＜自己組織化ニューラルネットワーク構造の構築（構築フェーズ）＞で述べたアルゴリズムに従って、４つの排他的論理和のパターンを認識（分類）するのに用いられる自己組織化ニューラルネットワーク構造を構築した。具体的な手順は次のとおりである。
【０１４９】
(1)  ｃｎｔ＝１
σ＝１．０、θＫ＝０．７に初期化した。それから、新たなＲＢＦ素子としてＲＢＦ１を追加した。このとき、ＲＢＦ１のセントロイドベクトルｃ1は入力ベクトルであるｘ（１）＝［０．１，０．１］Ｔと同一とし、クラスラベルはη１＝０とした。
【０１５０】
(2)  ｃｎｔ＝２
入力ベクトルｘ（２）を自己組織化ニューラルネットワーク構造（この時点では１つのＲＢＦ素子（ＲＢＦ１）のみが存在している）に与えた。
【０１５１】
このとき、
ｈ１＝ｅｘｐ（−‖ｘ（２）−ｃ１‖２２／σ２）＝０．４４４９
であった。
【０１５２】
従って、ｈ１（ｘ（２））＜θＫとなるので、新たなＲＢＦ素子（ＲＢＦ２）を追加した。このとき、ＲＢＦ２のセントロイドベクトルｃ２は入力ベクトルであるｘ（２）＝［０．１，１．０］Ｔと同一とし、クラスラベルはη２＝１とした。
【０１５３】
(3)  ｃｎｔ＝３
入力ベクトルｘ（３）を自己組織化ニューラルネットワーク構造（この時点では２つのＲＢＦ素子（ＲＢＦ１，ＲＢＦ２）が存在している）に与えた。
【０１５４】
このとき、
ｈ１＝ｅｘｐ（−‖ｘ（３）−ｃ１‖２２／σ２）＝０．４４４９（＜θＫ）
ｈ２＝ｅｘｐ（−‖ｘ（３）−ｃ２‖２２／σ２）＝０．１９７９（＜θＫ）
であった。
【０１５５】
従って、入力ベクトルｘ（３）により発火されるＲＢＦ素子は存在しないので、新たなＲＢＦ素子（ＲＢＦ３）を追加した。このとき、ＲＢＦ３のセントロイドベクトルｃ３は入力ベクトルであるｘ（３）＝［１．０，０．１］Ｔと同一とし、クラスラベルはη３＝１とした。
【０１５６】
(4)  ｃｎｔ＝４
入力ベクトルｘ（４）を自己組織化ニューラルネットワーク構造（この時点では３つのＲＢＦ素子（ＲＢＦ１，ＲＢＦ２，ＲＢＦ３が存在している）に与えた。
【０１５７】
このとき、
ｈ１＝ｅｘｐ（−‖ｘ（４）−ｃ１‖２２／σ２）＝０．１９７９（＜θＫ）
ｈ２＝ｅｘｐ（−‖ｘ（４）−ｃ２‖２２／σ２）＝０．４４４９（＜θＫ）
ｈ３＝ｅｘｐ（−‖ｘ（４）−ｃ３‖２２／σ２）＝０．４４４９（＜θＫ）
であった。
【０１５８】
従って、入力ベクトルｘ（４）により発火されるＲＢＦ素子は存在しないので、新たなＲＢＦ素子（ＲＢＦ４）を追加した。このとき、ＲＢＦ４のセントロイドベクトルｃ４は入力ベクトルであるｘ（４）＝［１．０，１．０］Ｔと同一とし、クラスラベルはη４＝０とした。
【０１５９】
以上により、４つのＲＢＦ素子（ＲＢＦ１，ＲＢＦ２，ＲＢＦ３，ＲＢＦ４）を備えた自己組織化ニューラルネットワーク構造が構築されたが、このようにして構築された自己組織化ニューラルネットワーク構造は、上述した４つの入力ベクトルのパターンを、上述した＜自己組織化ニューラルネットワーク構造の構造（検証フェーズ）＞で述べたアルゴリズムに従って、正しく認識することができる。
【０１６０】
なお、以上のようにして自己組織化ニューラルネットワーク構造を構築することは、ＧＲＮＮやＰＮＮを構築することと類似している。これは、一つのニューラルネットワーク構造内に４つのニューロン（すなわちＲＢＦ素子）が存在しており、かつ、クラスラベルηi（ｉ＝１，２，３，４）をターゲット値とみなすことができるからである。（従って、このことは、ＧＲＮＮやＰＮＮを自己組織化ニューラルネットワーク構造のサブクラスとして捉えることができるということを意味する。）
しかしながら、一方で、自己組織化ニューラルネットワーク構造の構築中に、排他的論理和の関係を表す別のパターンの入力ベクトル（すなわちｘ（５）＝［０．２，０．２］Ｔ、ｘ（２）＝［０．２，０．８］Ｔ、ｘ（３）＝［０．８，０．２］Ｔ、ｘ（４）＝［０．８，０．８］Ｔ）が続いて与えられる場合を考えると、ＧＲＮＮやＰＮＮとの相違が現れる。すなわち、これらの入力ベクトルはＰＮＮ／ＧＲＮＮでは、その構築中に全てのパターンが何らかの形で学習（すなわち新たなニューロンが追加）されてしまうが、自己組織化ニューラルネットワーク構造では、その構築中にはＲＢＦ素子の冗長な追加は行われない。すなわち、これらの４つのパターンの入力ベクトルは（ｈｉ＞θＫの条件に従って）それぞれに近いＲＢＦ素子を発火させるのみである。しかしながら、依然としてそれらのパターンの入力ベクトルは正しいパターン認識の結果をもたらし、ＲＢＦ素子がさらに追加されることはない。
【０１６１】
このような考察から分かるように、自己組織化ニューラルネットワーク構造においては、入力データが極めて少数のＲＢＦ素子に局在的に保存されることとなるので、各ＲＢＦ素子に関連したパラメータを適切に調整することにより、データプルーニング（すなわちデータクラスタリング）を適切に行うことが可能なパターン分類器を実現することができる。
【０１６２】
以下、幾つかのシミュレーション実験例を取り上げながら、自己組織化ニューラルネットワーク構造におけるパラメータの調整の問題を考える。
【０１６３】
シミュレーション実験例１
（シングルドメインのパターン認識）
まず、自己組織化ニューラルネットワーク構造がより現実的な場面でどのように構築（自己組織化）されるのかを理解するため、シングルドメインのパターン認識（公開されたデータベースから引き出された幾つかのシングルドメインのデータセットを用いたパターン認識）についてシミュレーション実験を行った。なお、上記「問題の設定」では、自己組織化ニューラルネットワーク構造内のＲＢＦ素子間の結合（ＲＢＦ素子間のウェイト係数の形成及びＲＢＦ素子間のウェイト係数の学習）については説明を省略しているが、以下に述べるシミュレーション実験例１では、ウェイト係数を介したＲＢＦ素子間での発火が自己組織化ニューラルネットワーク構造の性能にどのような影響を与えるのかを理解するため、ＲＢＦ素子間のウェイト係数についても当然考慮している。また、以下のシミュレーション実験例１では、ＲＢＦ素子間のウェイト係数の学習のためのアルゴリズムとして、上述した第２のアルゴリズムを用いた。ただし、ここでは、自己組織化ニューラルネットワーク構造の振る舞いをより明確に追跡するため、上述した第２のアルゴリズムの(3)の処理（すなわちニューロンであるＲＢＦ素子の削除）は考慮しなかった。
【０１６４】
（パラメータの設定）
シミュレーション実験例１においては、カリフォルニア大学の“UCI Machine Learning Repository”のデータベース（ＳＦＳ、ＯｐｔＤｉｇｉｔ及びＰｅｎＤｉｇｉｔ）から引き出された３つの異なるドメインのデータセットを用いた。これら３つのデータセットは、認識の処理を行うための互いに独立したデータセットであり、その特徴は下記表１に示されているとおりである。なお、ＳＦＳのデータセットに関しては、予め符号化処理が施されて認識の処理のためのパターンベクトルが与えられている。
【表１】
0004771249.tif 000010
【０１６５】
自己組織化ニューラルネットワーク構造内のＲＢＦ素子のパラメータは、下記表２にまとめられているとおりに選択した。下記表２に示されているように、パラメータの組み合わせは、できるだけ類似の条件でシミュレーションを行うため、全ての３つのデータセットについてできるだけ等しいものとなるように選択した。自己組織化ニューラルネットワーク構造の構築中に、各ＲＢＦ素子について発火の評価（ＲＢＦ素子の発火の度合いｈｉが所定の閾値θＫを越えているか否か）を行うため、σｉ=σ（∀ｉ）及びθＫ=０．７とした。さらに、シミュレーション実験例１では、普遍性を失わないよう、ウェイト係数を介した各ＲＢＦ素子の発火が最も近接したＲＢＦ素子の間でのみ行われると制限した。
【表２】
0004771249.tif 000011
【０１６６】
（シミュレーション結果）
図１２及び図１３はシミュレーション実験例１の実験結果を示す図であり、図１２は自己組織化ニューラルネットワーク構造の構築中におけるＲＢＦ素子（ニューロン）の数の変化を示す図、図１３は自己組織化ニューラルネットワーク構造の構築中におけるウェイト係数（リンク）の数の変化を示している。
【０１６７】
図１２及び図１３に示すように、自己組織化ニューラルネットワーク構造の構築中には、ＲＢＦ素子の数及びウェイト係数の数がいずれも単調に増加していることが分かる。なお、図１２及び図１３においては、３つの異なるドメインのデータセットについてその増加量を比較するため、その横軸は入力されたパターンベクトル（入力ベクトル）の数で正規化されたスケールを用いた。図１２及び図１３において、その横軸におけるそれぞれの数ｘ（ｉ）（ｉ＝１，２，…，１１）は従って、パターンベクトルの正規化された入力数（すなわちｘ（ｉ）＝ｉ×［学習用データセット中のパターンベクトルの総数］／１０）である。
【０１６８】
図１２及び図１３を考察すると、ＰｅｎＤｉｇｉｔのデータセットのデータ構造は、他の２つのデータセットに比べて比較的単純であることが分かる。これは、生成されたＲＢＦ素子の数が常に最も少ない一方で、ウェイト係数の数が最も大きいことでも分かる。他方、各パターンベクトルの長さ（すなわち「１６」（上記表１参照））は３つのデータセットの中で最も小さく、パターン空間は他のデータセットに比べてより小さな数のデータ数で構築されている。
【０１６９】
（自己組織化ニューラルネットワーク構造の性能に対してのラジウスσの選択の影響）
一般的なニューラルネットワーク構造であるＧＲＮＮやＰＮＮに関しては、自己組織化ニューラルネットワーク構造におけるラジウスの値が特定の値をとる場合に汎化能力と計算の複雑さとの間の合理的なトレードオフが与えられる、ということが確認されている。そこで、シミュレーション実験例１における自己組織化ニューラルネットワーク構造の構築中においても、パラメータであるラジウスをσｉ＝σ（∀ｉ）と選択した。
【０１７０】
しかしながら、自己組織化ニューラルネットワーク構造において、ラジウスσｉの値をどのように選択するかは、一般的なニューラルネットワーク構造であるＧＲＮＮやＰＮＮと同様に依然として汎化能力に大きな影響を与えるものである。この点をさらに追求すると、ラジウスσｉの値は、学習用データセット中のパターンベクトルの全ての組の間で計算される最小ユークリッド距離と、同様にして計算される最大ユークリッド距離との間で変化する。なお、３つのデータセット（ＳＦＳ、ＯｐｔＤｉｇｉｔ及びＰｅｎＤｉｇｉｔ）の最小ユークリッド距離及び最大ユークリッド距離は、下記表３に示すように計算された。
【表３】
0004771249.tif 000012
【０１７１】
図１４及び図１５はそれぞれ、シミュレーション実験例１における自己組織化ニューラルネットワーク構造におけるラジウスσと生成されたＲＢＦ素子（ニューロン）の数との関係、及びラジウスσと汎化能力との関係を示している。
【０１７２】
図１４及び図１５に示すように、生成されたＲＢＦ素子（ニューロン）の数及び汎化能力はいずれもラジウスσの値に応じて大幅に変化することが分かる。具体的には、ラジウスσが最小ユークリッド距離に近いときには、ＲＢＦ素子の数はほぼデータセット内のパターンベクトルの数と同一となる。言い換えれば、そのような場合には自己組織化ニューラルネットワーク構造の構築中にほぼ全ての学習用データセットが用い尽くされることとなる。しかしながら、一方で、図１４及び図１５は、ＲＢＦ素子の数の減少が常に汎化能力の相対的な劣化を導くものではないことも示している。この傾向はまた、図１６に示す関係、すなわち、ラジウスσと、正しく接続されたウェイト係数（リンク）の数（すなわち同一のクラスラベルを持つＲＢＦ素子間の接続を確立するウェイト係数の数）との関係によっても確認することができる。
【０１７３】
図１６を図１５と比較すると、それぞれのデータセットについて、正しく接続されたウェイト係数の数がピークから減少し始めたときに、汎化能力が急激に劣化することが分かる。このような考察から、上記表２のそれぞれのデータセットのラジウスσの値を合理的に選択した。正しく接続されたウェイト係数と誤って接続されたウェイト係数との間の比率は十分に高かった。（すなわち、実際の比率は、ＳＦＳ及びＯｐｔＤｉｇｉｔのデータセットのそれぞれについて２．１及び７．３であった。これに対し、ＰｅｎＤｉｇｉｔについては、誤ったウェイト係数の数は０であった。）
（自己組織化ニューラルネットワーク構造の汎化能力）
下記表４は、上記表２のパラメータを用いて構築された自己組織化ニューラルネットワーク構造（すなわち、構築のための全てのパターンベクトルの入力が終了した自己組織化ニューラルネットワーク構造）と、良く知られたマッキーン（MacQueen）のｋ−ｍｅａｎｓクラスタリングアルゴリズムにより求められたセントロイドを持つＰＮＮとの間で性能を比較したものである。なおここでは、両者の間の比較をできるだけ公平に行うため、それぞれのクラスを担うＰＮＮ内のニューロンの数は、自己組織化ニューラルネットワーク構造内のＲＢＦ素子（ニューロン）の数に固定した。
【表４】
0004771249.tif 000013
【０１７４】
上記表４に示すように、３つのデータセットについて、自己組織化ニューラルネットワーク構造の全体の汎化能力は、上述したＰＮＮの手法とほぼ同じか若干良くなった。しかしながら、一般的なニューラルネットワーク構造であるＧＲＮＮやＰＮＮとは異なり、ＲＢＦ素子（ニューロン）の数は、自律型のアルゴリズムにより自動的に決定される。この点で、自己組織化ニューラルネットワーク構造は、一般的なニューラルネットワーク構造であるＧＲＮＮやＰＮＮよりも動的である。
【０１７５】
（パターンベクトルの入力の順番の変化）
自己組織化ニューラルネットワーク構造において、上述したようなパターン分類器を構成するための典型的な方法である通常の「バランスのとれた」パターンベクトルの入力は、例えば、数字／ＺＥＲＯ／のパターン＃１、数字／ＯＮＥ／のパターン＃１、…、数字／ＮＩＮＥ／のパターン＃１、数字／ＺＥＲＯ／のパターン＃２、数字／ＯＮＥ／のパターン＃２、…、数字／ＮＩＮＥ／のパターン＃２、…、という具合である。しかしながら、これに変えて、パターンベクトルの入力の順番を、(1)ランダムに変えたり、(2)新たなクラスを伴うように変えたりすることも可能である。すなわち、数字／ＺＥＲＯ／のパターン＃１、数字／ＺＥＲＯ／のパターン＃２、…、数字／ＺＥＲＯ／の最後のパターン、数字／ＯＮＥ／のパターン＃１、数字／ＯＮＥ／のパターン＃２、…、という具合にしてもよい。このような変更は、経験的に、生成されたＲＢＦ素子（ニューロン）及びウェイト係数（リンク）の数にも汎化能力にも影響を与えないことが分かっている。このことは、自己組織化ニューラルネットワーク構造がＰＮＮのような新たなクラスを伴う能力だけでなく、条件の変化に対してもロバストであることを示している。
【０１７６】
シミュレーション実験例２
（マルチドメインのパターン認識）
上記シミュレーション実験例１では、パターン認識の分野において、自己組織化ニューラルネットワーク構造が、一般的なニューラルネットワーク構造であるＰＮＮ／ＧＲＮＮの場合に比べて同様かあるいはそれよりも若干良い汎化能力を示すことが確認された。このことは、自己組織化ニューラルネットワーク構造の特徴の一つではあるが、全部ではない。すなわち、自己組織化ニューラルネットワーク構造には複数のモダリティを持つマルチドメインの問題に適用することが可能であるという特徴がある。そこでここでは、上述した後者の特徴を理解するため、自己組織化ニューラルネットワーク構造に関して、マルチドメインのパターン認識（すなわちデュアルドメインの同時的なパターン認識）についての別の実用的なシミュレーション実験を行った。
【０１７７】
なお、シミュレーション実験例２において構築された自己組織化ニューラルネットワーク構造は、２つの部分的な自己組織化ニューラルネットワーク構造を統合したものである。すなわち、このような自己組織化ニューラルネットワーク構造は、「デュアルドメインの同時的なパターン認識」を実現するため、その内部の特定の領域（すなわち聴覚領域）に入力された特定の音声が聴覚領域だけでなくそれと並行してすなわち同時に視覚領域をも発火させるというような状況を模擬するように設計されている。このような設計は、それぞれのモダリティ（聴覚モダリティ及び視覚モダリティ）用の適切な組み込み型の特徴抽出メカニズムがシステム内に設けられていることを意味している。このことは従って、異なったモダリティの間の「連関（associations）」をモデル化する問題、又はより一般的には「概念形成（concept formation）」の問題に幾分関連している。なお、ここでいう問題は、幾つかの知覚方法が同時的にすなわち統合的に（融合的に）扱われる問題であり、ゲシュタルト（gestalt）と呼ばれる統合的な表現法により実現されるものである。
【０１７８】
（パラメータの設定）
シミュレーション実験例２においては、ＳＦＳのデータセット（数字音声認識用）及びＰｅｎＤｉｇｉｔのデータセット（数字文字認識用）の両方を用いた。ここで、各データセットは、対応する特定のドメインデータのための部分的な自己組織化ニューラルネットワーク構造を構築するために用いた。これらを用いて構築される２つの部分的な自己組織化ニューラルネットワーク構造内にある所定数のＲＢＦ素子（ニューロン）を接続するクロスドメインなウェイト係数（リンク）（すなわち連関リンク）が、上述したウェイト係数の更新のためのアルゴリズムと同様の手法により形成される。ここで、デュアルドメインのパターン認識の処理を行うためのにウェイト係数を更新するパラメータは、上記表２の右側のカラムにまとめられている。２つの部分的な自己組織化ニューラルネットワーク構造間の連関リンクを形成するため、通常のウェイト係数（すなわち上記表２の左側のカラムにまとめられている部分的な自己組織化ニューラルネットワーク構造内のウェイト係数）と同一の値を選択した。ただし、減衰係数ξｉについてはξｉ＝ξ＝０．０００５（∀ｉ）とした。
【０１７９】
さらに、このようなクロスドメインの問題をモデル化するにあたっては、パターンベクトルの入力の順番が連関リンクの形成に影響を与えるということを考慮する必要がある。従って、シミュレーション実験例２においては、パターンベクトルを２つの学習用データセットにまたがって交互に、すなわち、ＳＦＳのパターンベクトル＃１、ＰｅｎＤｉｇｉｔのパターンベクトル＃１、ＳＦＳのパターンベクトル＃２、ＰｅｎＤｉｇｉｔのパターンベクトル＃２、という具合に入力した。
【０１８０】
（シミュレーション結果）
下記表５の２番目のカラム及び３番目のカラムは、シミュレーション実験例２におけるデュアルドメインのパターン認識の処理での汎化能力をまとめたものである。下記表５において、「Ｓｕｂ−ＳＯＫＭ（ｉ）→Ｓｕｂ−ＳＯＫＭ（ｊ）」は、ｉ番目の部分的な自己組織化ニューラルネットワーク構造内のＲＢＦ素子から連関リンクを介してｊ番目の部分的な自己組織化ニューラルネットワーク構造内のＲＢＦ素子の発火が行われることに起因した、ｊ番目の部分的な自己組織化ニューラルネットワーク構造内のＲＢＦ素子の発火により得られる全体の汎化能力を示すものである。ここで、Ｓｕｂ−ＳＯＫＭ（１）はＳＦＳデータセット用の部分的な自己組織化ニューラルネットワーク構造を示し、Ｓｕｂ−ＳＯＫＭ（２）はＰｅｎＤｉｇｉｔデータセット用の部分的な自己組織化ニューラルネットワーク構造を示す。
【表５】
0004771249.tif 000014
【０１８１】
シミュレーション実験例３
（自己組織化ニューラルネットワーク構造へのクラスラベルの導入）
上記シミュレーション実験例１及び２では、新たなＲＢＦ素子が自己組織化ニューラルネットワーク構造内に追加されるときにクラスラベルηｉが与えられ、現在の入力ベクトルであるパターンベクトルと同一の値に設定される。しかしながら、自己組織化ニューラルネットワーク構造においては、入力ベクトルであるパターンベクトルが与えられるのと同時にクラスラベルηｉを設定する必要が常にあるわけではなく、クラスラベルηｉを非同期的に設定することも可能である。
【０１８２】
シミュレーション実験例３では、このような点を考慮し、ウェイト係数の更新のアルゴリズムとして、上述した第３のアルゴリズム（クラスラベルηｉを考慮に入れたアルゴリズム）を用いた。すなわち、クラスラベルηｉは、ＲＢＦ素子間を結合するウェイト係数の値を調整するために用いられる。これにより、汎化能力を大幅に向上させることができる。
【０１８３】
（ウェイト係数の形成における制約）
自己組織化ニューラルネットワーク構造においては、クラスラベルはその応用例に依存して何時でも与えることができる。ここでは、クラスラベルに関する情報が事前に知られているという、実際上はあまり典型的ではない状況を考え、このような変更が自己組織化ニューラルネットワーク構造の性能にどのような影響を与えるのかを検討する。
【０１８４】
（シミュレーション結果）
図１７はシミュレーション実験例３のクラスラベルに関しての制約がある状態で構築された自己組織化ニューラルネットワーク構造のウェイト係数の数と、クラスラベルに関しての制約がない状態で構築された自己組織化ニューラルネットワーク構造のウェイト係数の数とを比較するものである。図１７に示されているように、ウェイト係数の全ての種類（すなわち、単独のＳＦＳのデータセットでのウェイト係数、単独のＰｅｎＤｉｇｉｔのデータセットでのウェイト係数、２つのデータセット間での連関リンクのウェイト係数）について、制約があるウェイト係数の数は制約がないウェイト係数の数に比べて小さいことが分かる。このことは、クラスラベルに関しての制約がある場合には、ＲＢＦ素子の「誤った」接続（すなわち、異なったクラスラベルを持つＲＢＦ素子同士の接続）の形成が構築中に避けられることを意味する。
【図面の簡単な説明】
【０１８５】
【図１】本発明の一実施の形態に係る相互結合型ニューラルネットワークシステムの全体構成を示すブロック図。
【図２】図１に示す相互結合型ニューラルネットワークシステムのニューラルネットワーク部内に構築される人工ニューラルネットワーク構造の一例を示す図。
【図３】図２に示すニューラルネットワーク部で用いられるＲＢＦ素子（ニューロン）の構成を示す図。
【図４】図１に示す相互結合型ニューラルネットワークシステムのニューラルネットワーク部内に構築される人工ニューラルネットワーク構造の他の例を示す図。
【図５】図１に示す相互結合型ニューラルネットワークシステムのニューラルネットワーク部内に構築される人工ニューラルネットワーク構造のさらに他の例を示す図。
【図６】図１に示す相互結合型ニューラルネットワークシステムのニューラルネットワーク部内に構築される人工ニューラルネットワーク構造のさらに他の例を示す図。
【図７】図１に示す相互結合型ニューラルネットワークシステムのニューラルネットワーク部内に構築される人工ニューラルネットワーク構造のさらに他の例を示す図。
【図８】図２に示す人工ニューラルネットワーク構造の構築方法を説明するための模式図。
【図９】図２及び図４乃至図７に示す人工ニューラルネットワーク構造に含まれるＲＢＦ素子（ニューロン）で用いられる行列形式のセントロイドデータを説明するための模式図。
【図１０】図２に示すニューラルネットワーク部で用いられるＲＢＦ素子（ニューロン）の変形例の構成を示す図。
【図１１】本発明の一実施の形態が適用されるコンピュータシステムの一例を示す図。
【図１２】シミュレーション実験例１の実験結果（自己組織化ニューラルネットワーク構造の構築中におけるＲＢＦ素子（ニューロン）の数の変化）を示す図。
【図１３】シミュレーション実験例１の実験結果（自己組織化ニューラルネットワーク構造の構築中におけるウェイト係数（リンク）の数の変化）を示す図。
【図１４】シミュレーション実験例１の実験結果（自己組織化ニューラルネットワーク構造におけるラジウスと生成されたＲＢＦ素子（ニューロン）の数との関係）を示す図。
【図１５】シミュレーション実験例１の実験結果（自己組織化ニューラルネットワーク構造におけるラジウスと汎化能力との関係）を示す図。
【図１６】シミュレーション実験例１の実験結果（自己組織化ニューラルネットワーク構造におけるラジウスと生成されたウェイト係数（リンク）の数との関係）を示す図。
【図１７】シミュレーション実験例２の実験結果を示す図。
【符号の説明】
【０１８６】
１０  相互結合型ニューラルネットワークシステム
１１  ニューラルネットワーク部
１２  ネットワーク制御部
１３  入力層ニューロン
１４，１４′，１４″  ＲＢＦ素子（中間層ニューロン）
１５  出力層ニューロン
１６  ＲＢＦ本体部
１７  ポインター部
１８  ウェイト係数保持部
１９  生存期間変数保持部
２０  活性回数保持部
２１  クラスラベル保持部
【図１】
0004771249.tif 000015
【図２】
0004771249.tif 000016
【図３】
0004771249.tif 000017
【図４】
0004771249.tif 000018
【図５】
0004771249.tif 000019
【図６】
0004771249.tif 000020
【図７】
0004771249.tif 000021
【図８】
0004771249.tif 000022
【図９】
0004771249.tif 000023
【図１０】
0004771249.tif 000024
【図１１】
0004771249.tif 000025
【図１２】
0004771249.tif 000026
【図１３】
0004771249.tif 000027
【図１４】
0004771249.tif 000028
【図１５】
0004771249.tif 000029
【図１６】
0004771249.tif 000030
【図１７】
0004771249.tif 000031