(57)【要約】      （修正有）【課題】順次入力される学習ベクトルの性質が時間変化した場合であっても、所期のベクトル集合を参照ベクトル群として好適に再構築する。【解決手段】競合層に配置されたユニットの参照ベクトル及び活性度を記憶する参照ベクトル・活性度記憶部２０と、学習ベクトルと前記各参照ベクトルとの距離を算出する距離算出部１２と、算出される距離の最小値が所定値より大きい場合に、参照ベクトルを参照ベクトル・活性度記憶部２０に追加して記憶させる参照ベクトル追加部１６と、参照ベクトルの少なくとも一部を、学習ベクトルに対し、該学習ベクトルに対する評価に応じて接近させ又は離間させるとともに、それら参照ベクトルに係るユニットの活性度を更新する参照ベクトル更新部１４と、各活性度に応じて、参照ベクトルを参照ベクトル・活性度記憶部２０から削除する参照ベクトル・結合強度削除部２４と、を含む。【選択図】図４
2008117090.tif 000002
【特許請求の範囲】
【請求項１】
１以上の参照ベクトルを記憶する参照ベクトル記憶手段と、
順次入力される学習ベクトルと前記参照ベクトル記憶手段に記憶される前記各参照ベクトルとの距離を算出する距離算出手段と、
前記距離算出手段により算出される距離の最小値が所定値より大きい場合に、前記学習ベクトルに基づいて決定される参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる参照ベクトル追加手段と、
前記距離算出手段により算出される距離の最小値が所定値以下の場合に、前記参照ベクトル記憶手段に記憶される前記１以上の参照ベクトルの少なくとも一部を、前記学習ベクトルに対し、該学習ベクトルに対する評価に応じて接近させ又は離間させる参照ベクトル更新手段と、
前記参照ベクトル記憶手段に記憶される前記各参照ベクトルに関連づけて活性度を記憶するとともに、該参照ベクトルと前記学習ベクトルとの距離及び該学習ベクトルに対する評価に基づいて、それら活性度を更新する活性度記憶更新手段と、
前記各参照ベクトルに関連づけられた活性度に応じて、前記各参照ベクトルを前記参照ベクトル記憶手段から削除する参照ベクトル削除手段と、
を含むことを特徴とするデータ処理装置。
【請求項２】
請求項１に記載のデータ処理装置において、
前記参照ベクトル追加手段は、前記距離算出手段により算出される距離の最小値が前記所定値より大きく、且つ前記学習ベクトルに対する評価が所定以上のものである場合に、前記参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる、
ことを特徴とするデータ処理装置。
【請求項３】
請求項１又は２に記載のデータ処理装置において、
前記活性度記憶更新手段は、前記参照ベクトルと前記学習ベクトルとの距離が近いほど、前記活性度を大きく変化させる、
ことを特徴とするデータ処理装置。
【請求項４】
請求項１乃至３のいずれかに記載のデータ処理装置において、
前記活性度記憶更新手段は、前記学習ベクトルに対する評価が肯定的である場合には前記活性度を増加させ、否定的である場合には前記活性度を減少させる、
ことを特徴とするデータ処理装置。
【請求項５】
請求項１乃至４のいずれかに記載のデータ処理装置において、
前記参照ベクトル記憶手段に記憶される前記参照ベクトルの各対に関連づけて、該対の結合強度を記憶するとともに、該対のそれぞれと前記学習ベクトルとの距離に応じて該結合強度を更新する結合強度記憶更新手段をさらに含む、
ことを特徴とするデータ処理装置。
【請求項６】
請求項５に記載のデータ処理装置において、
前記参照ベクトル更新手段は、前記最小値に係る前記参照ベクトルと、前記結合強度に基づいて判断される該参照ベクトルの近傍の参照ベクトルと、を前記学習ベクトルに対して近接させ又は離間させ、
前記参照ベクトル削除手段は、前記参照ベクトルを前記参照ベクトル記憶手段から削除する場合に、該参照ベクトルに係る前記結合強度を併せて削除する、
ことを特徴とするデータ処理装置。
【請求項７】
順次入力される学習ベクトルと、１以上の参照ベクトルを記憶する参照ベクトル記憶手段に記憶される前記各参照ベクトルと、の距離を算出する距離算出ステップと、
前記距離算出ステップで算出される距離の最小値が所定値より大きい場合に、前記学習ベクトルに基づいて決定される参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる参照ベクトル追加ステップと、
前記距離算出ステップで算出される距離の最小値が所定値以下の場合に、前記参照ベクトル記憶手段に記憶される前記１以上の参照ベクトルの少なくとも一部を、前記学習ベクトルに対し、該学習ベクトルに対する評価に応じて接近させ又は離間させる参照ベクトル更新ステップと、
前記参照ベクトル記憶手段に記憶される前記各参照ベクトルと前記学習ベクトルとの距離及び該学習ベクトルに対する評価に基づいて、該参照ベクトルの活性度を更新する活性度更新ステップと、
前記各参照ベクトルの活性度に応じて、前記各参照ベクトルを前記参照ベクトル記憶手段から削除する参照ベクトル削除ステップと、
を含むことを特徴とするデータ処理方法。
【請求項８】
１以上の参照ベクトルを記憶する参照ベクトル記憶手段、
順次入力される学習ベクトルと前記参照ベクトル記憶手段に記憶される前記各参照ベクトルとの距離を算出する距離算出手段、
前記距離算出手段により算出される距離の最小値が所定値より大きい場合に、前記学習ベクトルに基づいて決定される参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる参照ベクトル追加手段、
前記距離算出手段により算出される距離の最小値が所定値以下の場合に、前記参照ベクトル記憶手段に記憶される前記１以上の参照ベクトルの少なくとも一部を、前記学習ベクトルに対し、該学習ベクトルに対する評価に応じて接近させ又は離間させる参照ベクトル更新手段、
前記参照ベクトル記憶手段に記憶される前記各参照ベクトルに関連づけて活性度を記憶するとともに、該参照ベクトルと前記学習ベクトルとの距離及び該学習ベクトルに対する評価に基づいて、それら活性度を更新する活性度記憶更新手段、及び
前記各参照ベクトルに関連づけられた活性度に応じて、前記各参照ベクトルを前記参照ベクトル記憶手段から削除する参照ベクトル削除手段
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデータ処理装置、データ処理方法及びプログラムに関し、特に学習ベクトルに従って所期のベクトル集合を構築するデータ処理装置、データ処理方法及びプログラムに関する。
【背景技術】
【０００２】
下記特許文献１には自己組織化関係（Self-Organizing Relationship: ＳＯＲ）ネットワークが開示されている。この自己組織化関係ネットワークは、所定数のニューロンモデルが配置された競合層を備えるもので、肯定的な評価を有する学習ベクトルが入力されると、一部又は全部のニューロンモデルの参照ベクトルが当該学習ベクトルに接近し、逆に否定的な評価を有する学習ベクトルが入力されると、一部又は全部のニューロンモデルの参照ベクトルが当該学習ベクトルから離間するものである。同技術によると、例えば入力データ及び出力データのペアからなる学習ベクトルを、そのペアに対する評価とともに自己組織化関係ネットワークに順次入力することにより、望ましい入出力データ対の集合を参照ベクトル群として構築することなどが可能となる。
【０００３】
しかしながら、上記自己組織化関係ネットワークによると、競合層に配置されるニューロンモデルの数、すなわち参照ベクトルの数は固定であり、入力される学習ベクトルの集合によっては、望ましいデータ集合を参照ベクトル群として適切に構築することが困難な場合がある。
【０００４】
この点、下記非特許文献１に記載されたＥＳＯＭ（Evolving Self-Organizing Map）によると、入力される学習ベクトルによって参照ベクトルの数を増やすことができる。すなわちＥＳＯＭによると、学習ベクトルが入力されると、その学習ベクトルに近い参照ベクトルが既に存在すれば、従来と同様、該参照ベクトル及びその近傍の参照ベクトルを学習ベクトルに従って更新し、一方、そのような参照ベクトルが存在しなければ、学習ベクトルに一致する参照ベクトルをＥＳＯＭに新たに追加する。こうして、参照ベクトルの数を必要に応じて増加させ、望ましいデータ集合を好適に構築できるようネットワークを変化させている。
【特許文献１】特開２０００−１２２９９１号公報
【非特許文献１】「ＥＳＯＭによるオンラインパターン解析（On-linepattern analysis by evolving self-organizing maps）」，ダ・デン（Da Deng）及びニコラ・カザボフ（NikolaKasabov），ニューロコンピューティング，Ｖｏｌ．５１，８７−１０３頁，２００３年
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記非特許文献１には、参照ベクトルの数を減少させる手法について具体的開示が無く、したがって、学習ベクトルに含まれる入力データと出力データとの関係が時間経過により変化した場合など、学習ベクトルの性質が変化した場合であっても、過去の学習ベクトルに基づいて更新された参照ベクトルがそのまま残ってしまうという問題がある。このためＥＳＯＭによると、参照ベクトル群が現在の学習ベクトルを踏まえた望ましいデータ集合と必ずしも一致しないという不具合を招く。
【０００６】
本発明は上記背景に鑑みてなされたものであって、その目的は、順次入力される学習ベクトルの性質が時間変化した場合であっても、所期のベクトル集合を参照ベクトル群として好適に再構築することができるデータ処理装置、データ処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係るデータ処理装置は、１以上の参照ベクトルを記憶する参照ベクトル記憶手段と、順次入力される学習ベクトルと前記参照ベクトル記憶手段に記憶される前記各参照ベクトルとの距離を算出する距離算出手段と、前記距離算出手段により算出される距離の最小値が所定値より大きい場合に、前記学習ベクトルに基づいて決定される参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる参照ベクトル追加手段と、前記距離算出手段により算出される距離の最小値が所定値以下の場合に、前記参照ベクトル記憶手段に記憶される前記１以上の参照ベクトルの少なくとも一部を、前記学習ベクトルに対し、該学習ベクトルに対する評価に応じて接近させ又は離間させる参照ベクトル更新手段と、前記参照ベクトル記憶手段に記憶される前記各参照ベクトルに関連づけて活性度を記憶するとともに、該参照ベクトルと前記学習ベクトルとの距離及び該学習ベクトルに対する評価に基づいて、それら活性度を更新する活性度記憶更新手段と、前記各参照ベクトルに関連づけられた活性度に応じて、前記各参照ベクトルを前記参照ベクトル記憶手段から削除する参照ベクトル削除手段と、を含むことを特徴とする。
【０００８】
また、本発明に係るデータ処理方法は、順次入力される学習ベクトルと、１以上の参照ベクトルを記憶する参照ベクトル記憶手段に記憶される前記各参照ベクトルと、の距離を算出する距離算出ステップと、前記距離算出ステップで算出される距離の最小値が所定値より大きい場合に、前記学習ベクトルに基づいて決定される参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる参照ベクトル追加ステップと、前記距離算出ステップで算出される距離の最小値が所定値以下の場合に、前記参照ベクトル記憶手段に記憶される前記１以上の参照ベクトルの少なくとも一部を、前記学習ベクトルに対し、該学習ベクトルに対する評価に応じて接近させ又は離間させる参照ベクトル更新ステップと、前記参照ベクトル記憶手段に記憶される前記各参照ベクトルと前記学習ベクトルとの距離及び該学習ベクトルに対する評価に基づいて、該参照ベクトルの活性度を更新する活性度更新ステップと、前記各参照ベクトルの活性度に応じて、前記各参照ベクトルを前記参照ベクトル記憶手段から削除する参照ベクトル削除ステップと、を含むことを特徴とする。
【０００９】
また、本発明に係るプログラムは、１以上の参照ベクトルを記憶する参照ベクトル記憶手段、順次入力される学習ベクトルと前記参照ベクトル記憶手段に記憶される前記各参照ベクトルとの距離を算出する距離算出手段、前記距離算出手段により算出される距離の最小値が所定値より大きい場合に、前記学習ベクトルに基づいて決定される参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させる参照ベクトル追加手段、前記距離算出手段により算出される距離の最小値が所定値以下の場合に、前記参照ベクトル記憶手段に記憶される前記１以上の参照ベクトルの少なくとも一部を、前記学習ベクトルに対し、該学習ベクトルに対する評価に応じて接近させ又は離間させる参照ベクトル更新手段、前記参照ベクトル記憶手段に記憶される前記各参照ベクトルに関連づけて活性度を記憶するとともに、該参照ベクトルと前記学習ベクトルとの距離及び該学習ベクトルに対する評価に基づいて、それら活性度を更新する活性度記憶更新手段、及び前記各参照ベクトルに関連づけられた活性度に応じて、前記各参照ベクトルを前記参照ベクトル記憶手段から削除する参照ベクトル削除手段としてコンピュータを機能させるためのプログラムである。このプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのコンピュータ読取可能な情報記憶媒体に格納されてよい。
【００１０】
本発明によると、各参照ベクトルに関連づけて活性度を記憶しておく。この活性度は、順次入力される学習ベクトルとの距離及びその学習ベクトルに対する評価に基づいて更新される。例えば、活性度記憶更新手段は、前記参照ベクトルと前記学習ベクトルとの距離が近いほど、前記活性度を大きく変化させてよい。また、活性度記憶更新手段は、前記学習ベクトルに対する評価が肯定的である場合には前記活性度を増加させ、否定的である場合には前記活性度を減少させてよい。本発明では、こうして記憶・更新される活性度に応じて参照ベクトル記憶手段から参照ベクトルを削除するので、現在入力されている学習ベクトルの性質に基づくものではない参照ベクトルが参照ベクトル記憶手段に記憶され続けるという不具合を防止することができる。したがって、順次入力される学習ベクトルの性質が時間変化した場合であっても、所期のベクトル集合を参照ベクトル群として好適に再構築することができるようになる。
【００１１】
なお、前記参照ベクトル追加手段は、前記距離算出手段により算出される距離の最小値が前記所定値より大きく、且つ前記学習ベクトルに対する評価が所定以上のものである場合に、前記参照ベクトルを前記参照ベクトル記憶手段に追加して記憶させるようにしてよい。
【００１２】
また、前記参照ベクトル記憶手段に記憶される前記参照ベクトルの各対に関連づけて、該対の結合強度を記憶するとともに、該対のそれぞれと前記学習ベクトルとの距離に応じて該結合強度を更新する結合強度記憶更新手段をさらに含んでよい。このとき、結合強度記憶更新手段は、前記各対のそれぞれと前記学習ベクトルとの距離に加えて、さらに前記学習ベクトルに対する評価に応じて前記結合強度を更新してよい。
【００１３】
この場合、前記参照ベクトル更新手段は、前記最小値に係る前記参照ベクトルと、前記結合強度に基づいて判断される該参照ベクトルの近傍の参照ベクトルと、を前記学習ベクトルに対して近接させ又は離間させてよい。また、前記参照ベクトル削除手段は、前記参照ベクトルを前記参照ベクトル記憶手段から削除する場合に、該参照ベクトルに係る前記結合強度を併せて削除してよい。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の一実施形態について図面に基づいて詳細に説明する。
【００１５】
本実施形態に係るデータ処理装置は、公知のコンピュータシステムを中心に構成されたものであり、概念的には、改良された自己組織化関係ネットワークをコンピュータ上で実現するものである。すなわち、本データ処理装置では、１以上の任意数のユニット（ニューロンモデル）が配置される競合層を備えたニューラルネットワークに対し、学習モードにおいて、多数の学習ベクトルを順次入力して、該学習ベクトルの内容を各ユニットの参照ベクトルに反映させる学習処理を実行する。このとき、本実施形態では、学習ベクトル及び参照ベクトルが、入力データの成分及び出力データの成分を有しており、学習ベクトルは、その入力データ及び出力データのペアの評価値とともにニューラルネットワークに入力される。そして、肯定的評価の学習ベクトル、すなわち正の評価値の入力データ及び出力データのペアが入力されると、一部又は全部のユニットの参照ベクトルが該学習ベクトルに接近する。逆に、否定的評価の学習ベクトル、すなわち負の評価値の入力データ及び出力データのペアが入力されると、一部又は全部のユニットの参照ベクトルが該学習ベクトルから離間する。
【００１６】
また、実行モードにおいては、ニューラルネットワークに対して入力データのみが入力され、この入力データと各参照ベクトルの入力データの成分との類似度（例えば距離（ユークリッド距離など）の減少関数）が算出され、この類似度を用いて各参照ベクトルの出力データの成分を重み付き加算することにより出力データを算出している。
【００１７】
制御システムに適用する例を挙げれば、入力データは制御対象に関する制御誤差（制御量とその目標値との差）のデータであり、出力データは操作対象に関する操作量のデータであり、評価値は、当該制御誤差の場合に当該操作量を操作対象に適用した場合における制御の良好さを示す値（例えば制御量が収束したか否かを示す値）である。このようにすれば、学習モードでは、参照ベクトル群として、好ましい制御を実現するための制御誤差及び操作量のペア群が獲得されることとなる。また、実行モードでは、任意の制御誤差のデータを入力することで、好ましい制御を実現するための操作量のデータが出力されることとなる。こうして、本実施形態によると、対象システムの好ましい入出力関係を試行錯誤により獲得し、その後、入力データを与えることでそれに対応する好ましい出力データを出力することができる。
【００１８】
本データ処理装置は、上記のように自己組織化関係ネットワークをベースとした情報処理を行うものであるが、次の点が特徴的である。すなわち、本データ処理装置は、好ましい入出力関係が変化し、それにより学習データの性質が変化した場合において、競合層上のユニットを追加したり、削除したりする機能を備えている。これにより、好ましい入出力関係が変化した場合であっても、適切にそれを参照ベクトル群として獲得することができる。
【００１９】
さらに、ユニット間の結合の強さ、すなわち結合強度を管理しており、学習モードにおいて、所定値（例えば零）より大きな強度で結ばれるユニットをまとめて更新するようにしている。また、実行モードにおいては、所定値以上の強さで直接又は間接に結ばれるユニットの各部分集合について、入力データと該部分集合に属する各参照ベクトルの入力データの成分との類似度を算出し、この類似度を用いて各参照ベクトルの出力データの成分を重み付き加算することにより出力データを算出している。これにより、入力データに対して好ましい出力データが複数存在する場合であっても、それらを出力することができる。
【００２０】
図１乃至図３は、本データ処理装置の処理を概念的に示している。これらの図には入力データｕの軸及び出力データｖの軸を有する参照ベクトル空間が示されており、白丸は参照ベクトルを示しており、破線は零よりも大きい値の結合強度のリンクがユニット間に存在することを示している。また、黒丸は学習ベクトルを示している。学習ベクトルｘは、次式（１）に示されるように入力データｐ及び出力データｑを成分とする２次元ベクトルであり、参照ベクトルｗｉは、次式（２）に示されるように入力データｕｉ及び出力データｖｉを成分とする２次元ベクトルである。ここでは、初期状態として競合層にＮ個のユニットが配置され、参照ベクトルｗｉも当初Ｎ個存在するものとする。
【００２１】
【数１】
2008117090.tif 000003
【００２２】
図１に示すように、既に存在する参照ベクトルｗ１から所定距離（受容野半径）ε以内の位置に学習ベクトルｘａが入力されると、当該参照ベクトルｗ１及びそのユニットと零よりも大きい値の結合強度で直接結合しているユニットの参照ベクトルｗ２，ｗ３が、学習ベクトルｘａに近づくように更新される。また、既に存在する参照ベクトルｗ１乃至ｗ６から所定距離εより離れた位置に学習ベクトルｘｂが入力されると、当該学習ベクトルｘｂの位置に新たに参照ベクトル（不図示）が追加される。
【００２３】
すなわち、本データ処理装置では、学習ベクトルｘが入力されると、次式（３）を満足する参照ベクトルｗｉが既に存在するか否かを調べている。
【００２４】
【数２】
2008117090.tif 000004
【００２５】
そして、そのような参照ベクトルｗｉが存在する場合には、次式（４）乃至（７）に従って、参照ベクトルｗｉ及びそのユニットと零よりも大きい値の結合強度で直接結合しているユニットの参照ベクトルを更新する。なお、現在入力されている学習ベクトルに対して最も近い参照ベクトルと、次に近い参照ベクトル（第２最近傍の参照ベクトル）との間にリンクが存在しない場合には、リンクを新たに生成して後記の式（９）に従ってその結合強度を決定するとともに、当該第２最近傍の参照ベクトルを更新する。
【００２６】
【数３】
2008117090.tif 000005
【００２７】
式（５）において、γａとγｂはそれぞれ、肯定的評価を持つ学習ベクトルｘが入力された場合、否定的評価を持つ学習ベクトルｘが入力された場合の学習係数である。σγは、現在入力されている学習ベクトルｘから参照ベクトルを離間させる場合に、両ベクトルの距離に応じて更新量を減少させる程度を決定するパラメータである。また、Ｅは、学習ベクトルに対する評価値であり、肯定的評価である場合には正値となり、否定的評価である場合には負値となる。Ω（ｂ）は式（７）により定義されるものであり、ｂは学習ベクトルと最も距離（ここではユークリッド距離）が近いユニット（最近傍ユニット）の番号である。ｓ（ｉ，ｊ）は、ｉ番目のユニットとｊ番目のユニットとの結合強度を示している。すなわちΩ（ｂ）は、最近傍ユニット及び零よりも大きい値の結合強度により最近傍ユニットと結合しているユニット（近傍ユニット）の番号の集合を示している。
【００２８】
また、ａｉは、式（６）に示すようにｉ番目のユニットの参照ベクトルｗｉと学習ベクトルｘとの距離の減少関数で定義されるものであり、ｉ番目のユニットが学習ベクトルｘから影響を受ける程度、すなわち影響度を示している。
【００２９】
そして、ｉ番目のユニットの参照ベクトルｗｉは、式（５）に示されるように、当該ｉ番目のユニットが最近傍ユニット又はその近傍ユニットであれば、上段の式に従って更新され、それ以外であれば更新されない。更新される場合の更新量Δｗｉは、式（５）に示されるように、学習ベクトルｘからの影響度ａｉ、及び評価値Ｅに比例している。このため、影響度ａｉが大きいほど、また評価値Ｅの絶対値が大きいほど、参照ベクトルｗｉが大きく学習ベクトルｘに接近又は離反する。そして、正の評価値Ｅの学習ベクトルｘが入力されると、最近傍ユニット及びその近傍ユニットの参照ベクトルｗｉは、学習ベクトルｘの位置に向かって参照ベクトル空間において移動する。一方、負の評価値Ｅの学習ベクトルｘが入力されると、最近傍ユニット及びその近傍ユニットの参照ベクトルｗｉは、学習ベクトルｘから離れる向きに参照ベクトル空間において移動する。
【００３０】
また、学習ベクトルｘが入力された場合において、上式（３）を満足する参照ベクトルｗｉが未だ存在せず、且つ入力された学習ベクトルｘの評価値Ｅが予め定められた閾値を上回れば、次式（８）に従って、学習ベクトルと同一の参照ベクトルｗＮ＋１を有するＮ＋１番目のユニットを競合層上に新たに発生させる。
【００３１】
【数４】
2008117090.tif 000006
【００３２】
さらに、本データ処理装置では、競合層に配置されたユニットの各ペアについて結合強度ｓ（ｉ，ｊ）を記憶しており、学習ベクトルｘが入力され、その最近傍ユニット及びその近傍ユニットについて参照ベクトルｗｉの更新が行われる場合には、それらのユニットについて次式（９）に従って結合強度ｓ（ｉ，ｊ）を更新する。ここで、βは更新量を示すパラメータである。同式（９）に示すように、ｉ番目のユニットとｊ番目のユニットとの結合強度ｓ（ｉ，ｊ）は、評価値Ｅが正であれば増加し、負であれば減少する。このとき、学習ベクトルｘからの各ユニットの影響度ａｉ，ａｊが大きいほど大きく変化する。
【００３３】
【数５】
2008117090.tif 000007
【００３４】
また、学習ベクトルｘが入力された場合に、その最近傍ユニットが存在しなければ、上述のように新たにユニットを競合層上に追加するとともに、その追加したユニットとその近傍の２つのユニットとの各結合強度を、上式（９）に従って新たに算出する。
【００３５】
さらに、本データ処理装置では、各ユニットについて活性度を管理しており、ｉ番目のユニットの活性度Ｓａ（ｉ）は、次式（１０）により更新される。なお、活性度Ｓａ（ｉ）の初期値は、適宜設定してよい。
【００３６】
【数６】
2008117090.tif 000008
【００３７】
学習ベクトルｘが入力され、その最近傍ユニット及びその近傍ユニットの参照ベクトルｗｉが更新される場合に、それらユニットに関する活性度Ｓａ（ｉ）には、該学習ベクトルｘからの影響度ａｉ及び評価値Ｅに比例する量が加算される。このため、正の評価値の学習ベクトルｘが近傍に入力されると活性度Ｓａ（ｉ）は上昇し、逆に負の評価値の学習ベクトルｘが近傍に入力されると活性度Ｓａ（ｉ）は下降する。本データ処理装置では、ｉ番目のユニットの活性度Ｓａ（ｉ）が所定値未満となると、当該ユニットを競合層から削除する。すなわち、当該ユニットの参照ベクトルｗｉ、活性度Ｓａ（ｉ）、当該ユニットに関する結合強度をすべて消去するようにしている。
【００３８】
以上の学習処理を繰り返すことにより、参照ベクトル群は、図２に示すように、好ましい評価の入力データｕ及び出力データｖの関係を示すものとなる。本データ処理装置では、実行モードにおいて、入力データｐが入力されると、次式（１１）に従って、当該入力データｐと各参照ベクトルｗｉの入力データの成分ｕｉとの類似度ｚｉを算出し、次式（１２）に従って、該類似度ｚｉを用いて、参照ベクトルｗｉの出力データの成分ｖｉを重み付き加算することにより、入力データｐに対応する好ましい出力データｑを算出する。ここで、Σは、零よりも大きな値の結合強度ｓ（ｉ，ｊ）により直接又は間接にされたユニットの集合についての和である。図３は、この計算の様子を模式的に示している。
【００３９】
【数７】
2008117090.tif 000009
【００４０】
図４は、本発明の一実施形態に係るデータ処理装置の機能ブロック図である。本データ処理装置は、公知のコンピュータシステムを含んで構成されており、該コンピュータシステムにより、本発明を適用したプログラムを実行することにより、同図に示される機能が実現される。このプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのコンピュータ読取可能な情報記憶媒体によりコンピュータにインストールされてもよいし、インターネットなどの通信ネットワークからダウンロードされてもよい。
【００４１】
同図に示すように、データ処理装置は、機能的には学習ベクトル入力部１０、距離算出部１２、参照ベクトル更新部１４、参照ベクトル追加部１６、データ出力部１８、参照ベクトル・活性度記憶部２０、結合強度記憶部２２及び参照ベクトル・結合強度削除部２４を含んでいる。
【００４２】
まず、参照ベクトル・活性度記憶部２０は、競合層に配置された各ユニットの参照ベクトルを記憶するとともに、それらに関連づけて各ユニットの活性度を記憶する。図５は、参照ベクトル・活性度記憶部２０の記憶内容を模式的に示しており、同図に示すように、各ユニットの番号ｉに関連づけて、そのユニットの参照ベクトルｗｉに含まれる入力データｕｉ及び出力データｖｉ、さらに活性度Ｓａ（ｉ）が記憶される。
【００４３】
結合強度記憶部２２は、参照ベクトル・活性度記憶部２０に記憶される参照ベクトルの各ペアに関連づけて、該ペアの結合強度Ｓ（ｉ，ｊ）を記憶するものである。
【００４４】
学習ベクトル入力部１０は、入力データｐ及び出力データｑからなる多数の学習ベクトルｘを順に入力するものである。
【００４５】
距離算出部１２は、順次入力される学習ベクトルｘと参照ベクトル・活性度記憶部２０に記憶される各参照ベクトルｗｉとの距離（例えばユークリッド距離）を算出する。そして、その距離の最小値が所定距離ε以下であるか否か、すなわち式（３）を満足するユニットが存在するか否かを判断する。そして、そのようなユニットが存在すれば参照ベクトル更新部１４に、存在しなければ参照ベクトル追加部１６に処理を指示する。
【００４６】
参照ベクトル追加部１６は、距離算出部１２により算出される距離の最小値が所定距離εより大きい場合に、学習ベクトルｘに基づいて式（８）により決定される参照ベクトルｗＮ＋１を参照ベクトル・活性度記憶部２０に追加して記憶させる。さらに、参照ベクトルｗＮ＋１に関連づけて、Ｎ＋１番目のユニットの活性度Ｓａ（Ｎ＋１）も記憶させる。活性度Ｓａ（Ｎ＋１）の値は式（１０）に従って算出される。
【００４７】
さらに、参照ベクトル追加部１６は、追加したＮ＋１番目のユニットと、該ユニットとの距離が最も近いユニット（参照ベクトル間の距離が最も近いユニット）、及び次に近いユニット（参照ベクトル間の距離が次に近いユニット）との結合強度を、式（９）に従って算出し、結合強度記憶部２２に記憶させる。
【００４８】
参照ベクトル更新部１４は、距離算出部１２により算出される距離の最小値が所定距離ε以下の場合に、参照ベクトル・活性度記憶部２０に記憶される参照ベクトルの一部を、式（４）乃至式（７）に従って、学習ベクトルｘに対し、評価値Ｅに応じて接近させたり離間させたりする。まず現在の学習ベクトルｘの最近傍の参照ベクトルと第２最近傍の参照ベクトルとの間にリンクが存在しない場合には、リンクを生成する。その後、最近傍ユニット及び近傍ユニットの参照ベクトルを、学習ベクトルｘに対して接近させたり離間させたりする。さらに、更新した参照ベクトルｗｉに係るｉ番目のユニットの活性度Ｓａ（ｉ）を式（１０）に従って更新する。このとき、更新した参照ベクトルｗｉと学習ベクトルｘとの距離が近いほど、該更新した参照ベクトルｗｉに係るｉ番目のユニットの活性度ｓａ（ｉ）を大きく変化させる。また、正の評価値Ｅを有する学習ベクトルｘが入力されれば、活性度Ｓａ（ｉ）を増加させ、負の評価値Ｅを有する学習ベクトルｘが入力されれば、活性度Ｓａ（ｉ）を減少させる。
【００４９】
さらに、参照ベクトル更新部１４は、最近傍ユニットと、該ユニットとリンクが設定されているユニットと、のペアについて、式（９）に従って結合強度ｓ（ｉ，ｊ）を更新する。
【００５０】
参照ベクトル・結合強度削除部２４は、参照ベクトルｗｉに関連づけられた活性度Ｓａ（ｉ）が所定の閾値より低い場合に、該参照ベクトルｗｉ及びそれに関連づけられた活性度Ｓａ（ｉ）を参照ベクトル・活性度記憶部２０から削除する。併せて、削除した参照ベクトルｗｉに係るユニットに係る結合強度を結合強度記憶部２２から削除する。
【００５１】
データ出力部１８は、専ら実行モードにおいて動作するものであり、入力データｐを受付けて、式（１１）及び式（１２）に基づいて出力データｑを算出し、出力するものである。
【００５２】
図６は、本実施形態に係るデータ処理装置の学習処理を示すフロー図である。同図に示すように、学習ベクトルｘが入力されると（Ｓ１０１）、競合層にユニットが配置されているか、すなわち参照ベクトル・活性度記憶部２０に１以上のレコードが存在するかを判断する（Ｓ１０２）。そして、存在しなければ、学習ベクトルｘと同一の参照ベクトルｗ１及び式（１０）により算出される活性度Ｓａ（１）を、参照ベクトル・活性度記憶部２０に記憶させる（Ｓ１０３）。一方、存在すれば、距離算出部１２が、学習ベクトルｘの最近傍ユニットを探し出す（Ｓ１０４）。そして、最近傍ユニットの参照ベクトルと学習ベクトルとの距離が所定距離εより大きいか否かを判断する（Ｓ１０５）。そして、所定距離εより大きく、且つ現在の学習ベクトルｘの評価値Ｅが予め定められた閾値を上回れば（Ｓ１０６）、参照ベクトル追加部１６が、学習ベクトルｘと同一の参照ベクトルｗＮ＋１及び式（１０）により算出される活性度Ｓａ（Ｎ＋１）を、参照ベクトル・活性度記憶部２０に記憶させる（Ｓ１０７）。さらに、追加したＮ＋１番目のユニットと、該ユニットに近い２つのユニットと、の間の結合強度を算出し、それを結合強度記憶部２２に記憶させる（Ｓ１０８）。
【００５３】
一方、Ｓ１０５で、学習ベクトルｘと、その最近傍ユニットの参照ベクトルとの距離が所定距離ε以下であると判断される場合、参照ベクトル更新部１４は、最近傍ユニットとその近傍ユニットについて参照ベクトルを式（４）乃至式（７）に従って更新する。さらに、最近傍ユニットに接続されているリンクの結合強度を式（９）に従って更新する。このとき、最近傍の参照ベクトルと第２最近傍の参照ベクトルとの間にリンクが存在しなければ、リンクを発生させてから、上記更新処理を実行する（Ｓ１０９）。
【００５４】
次に、最近傍ユニットとその近傍ユニットの活性度を式（１０）に従って更新する。そして、更新後の活性度がユーザ指定の閾値より低い場合には、それらのユニットに関する参照ベクトル、活性度及び結合強度を参照ベクトル・結合度記憶部２０及び結合強度記憶部２２から削除する（Ｓ１１０）。
【００５５】
その後、Ｓ１０１乃至Ｓ１１０の処理をユーザ指定の回数だけ繰り返したかを判断する（Ｓ１１１）。そして、繰り返している場合には、結合強度記憶部２２に記憶された結合強度のうち、最小のものを削除し、上記繰り返しの回数のカウントをリセットする（Ｓ１１２）。すなわち、学習ベクトルの入力が所定回数行われる毎に、最弱のリンクを削除する。その後、全ての学習データについて学習処理を完了したかを判断し（Ｓ１１３）、完了するまでＳ１０１以降の処理を繰り返して実行する。
【００５６】
以上の実施形態によると、各参照ベクトルに関連づけて活性度が記憶される。この活性度は、学習ベクトルと参照ベクトルとの距離及びその学習ベクトルに対する評価に基づいて更新される。本実施形態では、こうして記憶・更新される活性度に応じて参照ベクトル・活性度記憶部２０から参照ベクトル等を削除するので、現在入力されている学習ベクトルの性質に基づくものではない参照ベクトルが参照ベクトル・活性度記憶部２０に記憶され続けるという不具合を防止することができる。したがって、順次入力される学習ベクトルの性質が時間変化した場合であっても、所期のベクトル集合を参照ベクトル群として好適に再構築することができるようになる。
【図面の簡単な説明】
【００５７】
【図１】参照ベクトルの更新を説明する図である。
【図２】学習済みの参照ベクトル群を示す図である。
【図３】実行モードにおける処理を説明する図である。
【図４】本実施形態に係るデータ処理装置の機能ブロック図である。
【図５】参照ベクトル・活性度記憶部の記憶内容を示す図である。
【図６】データ処理装置の学習処理を示すフロー図である。
【符号の説明】
【００５８】
１０  学習ベクトル入力部、１２  距離算出部、１４  参照ベクトル更新部、１６  参照ベクトル追加部、１８  データ出力部、２０  参照ベクトル・活性度記憶部、２２  結合強度記憶部、２４  参照ベクトル・結合強度削除部。
【図１】
2008117090.tif 000010
【図２】
2008117090.tif 000011
【図３】
2008117090.tif 000012
【図４】
2008117090.tif 000013
【図５】
2008117090.tif 000014
【図６】
2008117090.tif 000015