(57)【要約】  【課題】  従来、SOMモデルでは、目的とする終局マップを形成するまでに極めて多数回の学習を繰り返す必要があった。特に、学習中のマップにトポロジカルな不整合点が発生した場合、システムサイズ（ノード数）の３乗に比例した学習回数が必要であった。本発明は、このような不整合点の発生を抑制するとともに、たとえ不整合点が発生しても、それが早期に解消されるようにすることにより、SOMモデルの早期の収束を可能とする。  【解決手段】  格子状に配置された学習素子が、入力データによりウエイトに応じて学習するSOM（Self-Organizing Maps）ニューラルネット学習制御装置において、該ウエイトを決定する近傍関数を非対称とする。また、その非対称近傍関数の非対称方向を適宜反転する。更には、非対称方向を反転しつつ、非対称度を減少させてゆく。これにより、不整合点が発生した場合でも、システムサイズ（ノード数）の２乗に比例した学習回数で収束してゆく。【選択図】  図１
2007052677.tif 000002
【特許請求の範囲】
【請求項１】
格子状に配置された学習素子が、入力データによりウエイトに応じて学習するSOM（Self-Organizing Map）ニューラルネット学習制御装置において、該ウエイトを決定する近傍関数が非対称であることを特徴とするSOMニューラルネット学習制御装置。
【請求項２】
上記近傍関数の非対称方向を適宜反転することを特徴とする請求項１に記載のSOMニューラルネット学習制御装置。
【請求項３】
上記近傍関数の非対称方向を反転しつつ、非対称度を減少させてゆくことを特徴とする請求項１に記載のSOMニューラルネット学習制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、SOM（Self-Organizing Map）ニューラルネット学習において、その学習回数を大幅に低減する方法及び装置に関する。
【背景技術】
【０００２】
SOMアルゴリズム（非特許文献１）は情報処理分野における基盤的技術の一つであり、特に非線形主成分分析、データ可視化並びにクラスタ分析の有用な手法として広く利用されている。
【０００３】
主成分分析とは、多変数データ集合の中から、そのデータ集合の特徴を保持しつつ、より少数の変数で情報を表現させる方法である。そのため、データ圧縮技術及びノイズ低減技術等の根幹を担っている。
【０００４】
SOMアルゴリズムは、非線形主成分分析の代表的手法として知られており、特に自然画像や音声データなど非線型性が強いデータの扱いに長けている。そのため、自然画像データの圧縮技術、手書き文字認識、画像データからのノイズ低減技術、音声データの特徴抽出及び話者同定等にSOMアルゴリズムが利用されている。
【０００５】
またSOMアルゴリズムにより、多変数データを2次元平面上に射影し、次元低減を行うことが可能である。このとき、多変数データの特徴を元に、似た特徴を持つデータを2次元平面上に隣接させて射影する。2次元平面上に射影されることで、そのままでは人間には認識不能な多変数データについて、データの特徴分布やクラスタ構造などの有益な情報を引き出すことが可能になる。そのため、SOMアルゴリズムはデータの可視化並びにクラスタ分析の分野で広く利用されている。具体的には、画像解析・分類や、多変数配列データである遺伝子データベースでのクラスタ解析、多種多様な商品データからの特徴抽出、データマイニング等に利用され、新商品開発や市場分析等に役立っている（特許文献２〜５、非特許文献２）。
【０００６】
これらの有益さから、主要な市販のデータ処理プログラム（例えば、「MATLAB」。「MATLAB」はThe MathWorks, Inc.の登録商標。)には、SOMアルゴリズムを実行するパッケージが実装されている。
【０００７】
【特許文献１】特開2003-228706号公報
【特許文献２】特開2005-174040号公報
【特許文献３】特開2005-063309号公報
【特許文献４】特開2004-030088号公報
【特許文献５】特開2004-348285号公報
【非特許文献１】T. Kohonen, Biol. Cybern. 43, 59(1982)
【非特許文献２】Shaun Mahony et al., "Exploring Genomes with the Self-Organizing Map",インターネット<http://www.ercim.org/publication/Ercim_News/enw60/mahony.html>[平成17年8月18日検索]
【０００８】
SOMアルゴリズムが適用されるモデル（SOMモデル）は、データが入力される入力層と、格子状に接続された学習素子（ノード）が多次元空間にマップされる出力層からなる２階層のネットワーク構造を持つ。
【０００９】
出力層の各ノードはベクトル（出力ベクトル）から成り、当初、これらはランダムに初期化される。次に、入力層から入力ベクトルを一つ取り出し、出力層の各ノードの出力ベクトルとの間の測度を計算する。出力層の各ノードを検査して、入力ベクトルとの測度が最小となるノードBMU（Best Matching Unit）を検出する。そして、このBMUノードの出力ベクトルは、より入力ベクトルに近くなるように（入力ベクトルとの間の測度が小さくなるように）修正される（競合学習）。更に、BMUの近傍に存在するノードに対しても、BMUにより近いノードほど入力ベクトルにより近くなるように、重みを付けて、そのノードの出力ベクトルの補正を行う（図１の上側）。この重み付けは、近傍関数と呼ばれる関数を用いて行う。
【００１０】
多数の入力ベクトルを使って同様の計算を繰り返すことにより、出力層は終局マップに収束して行き、特定の入力ベクトルに対して最小測度を有するノードが特定の領域に集中することとなる（図１の下側）。このようなマップは、データの分類に適用可能となる。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
SOMモデルでは参照解が与えられないため、目的とする終局マップを形成するまでには、通常、極めて多数回の学習を繰り返す必要がある。特に、学習中のマップにトポロジカルな不整合点が発生した場合（図２中央）、システムサイズ（ノード数）の３乗に比例した学習回数が必要となる。
【００１２】
従来、このような問題に対しては、入力サンプルに応じた初期状態の設定、近傍関数の大きさの動的調整、等の手法を用いて、不整合点の発生しづらい状態を経験的に求めることで対応していた。
【００１３】
本発明が解決しようとする課題は、このような不整合点の発生を抑制するとともに、たとえ不整合点が発生しても、それが早期に解消されるようにすることにより、SOMモデルの早期の収束を可能とすることである。
【課題を解決するための手段】
【００１４】
上記課題を解決するために成された本発明は、格子状に配置された学習素子が、入力データによりウエイトに応じて学習するSOM（Self-Organizing Maps）ニューラルネット学習制御装置において、該ウエイトを決定する近傍関数が非対称であることを特徴とする。
【００１５】
また、この近傍関数の非対称の方向を適宜反転することが、ゆがみの解消の点から望ましい。
【００１６】
さらに、近傍関数の非対称性の度合いを反転毎に減少してゆき、対称に近づけてゆくことも、ゆがみの早期解消に効果的である。
【発明の効果】
【００１７】
前記の問題を解決するためには、トポロジカルな不整合点が発生した場合でも効果的に学習を行うSOMアルゴリズムを開発することが望まれる。
【００１８】
従来のSOMアルゴリズムでは近傍関数が対称であるため、キンク等の不整合点の時間発展がランダムウォークとなり、解消に多大の学習回数を要する。そこで本発明では、近傍関数に非対称性を導入することでアルゴリズムの改良を行った。その結果、不整合点解消に必要な学習回数が、従来法ではシステムサイズの３乗に比例していたが、本発明法では２乗で済むことがわかった。これによる一次的な効果としては、従来より少ない計算機資源でSOM学習が可能になる点を挙げることができる。システムサイズが大きな系では、従来、学習時間の問題から事実上計算不可能であった課題でも、本発明法により計算可能になる。
【００１９】
なお、このように非対称近傍関数を用いると、形成されたマップにゆがみが生じ情報量的に不利となることがある。この場合、学習途中において非対称関数の非対称方向を反転し、非対称度パラメータを調整して漸近的に対称関数に近づけてゆくことで、このマップのゆがみも解決される。
【００２０】
これらの非対称性の反転を行っても、従来の対称関数を用いた場合よりは遙かに早期に収束することに変わりはない。
【発明を実施するための最良の形態】
【００２１】
図３〜図１２を用いて、本発明に係る方法を説明する。
図３は１次元SOMにおいて、ねじれを早期に解消するために近傍関数に非対称性を導入することの概略説明図である。
図４は、１次元SOMの非対称近傍関数における非対称の度合いを示す非対称パラメータβを定義するための説明図である。
図５は、１次元SOMの学習過程において、対称近傍関数を用いた場合（上段）と非対称近傍関数を用いた場合（下段）の、各ノードの出力ベクトルの秩序形成状況を示すグラフである。非対称近傍関数を用いた場合、2000ステップにおいて既に秩序形成が行われていることがわかる。しかし、10000ステップにおいて、マップのゆがみが残っている。
図６は、１次元SOMにおいて、対称近傍関数を用いた場合と非対称近傍関数を用いた場合の学習時間（回数）と秩序形成状況のグラフ(a)、及びローカルゆがみの変化を示すグラフ(b)である。(a)のグラフより、非対称関数を用いた場合には極めて早期に秩序が形成されることがわかる。しかし、(b)のグラフに示されるように、マップのゆがみが解消されにくいという課題が残されている。
図７は、ユニットサイズ（ノード数）と、対称近傍関数を用いた場合（＋）と非対称近傍関数を用いた場合（×）の秩序形成に必要な学習時間の関係を示すグラフである。秩序形成に必要な学習時間は、従来の対称関数法ではユニットサイズ（ノード数）Nの３乗のオーダーで増加するのに対し、本発明に係る非対称関数法ではNの２乗のオーダーでしか増加しない。
図８は、１元SOMにおける非対称関数の非対称方向の反転を示す説明図(a)と、更に、反転しつつ非対称度を徐々に低下させ、対称関数に近づけてゆく手法を示す説明図(b)である。
図９は、図６と同様のグラフに、非対称近傍関数の非対称方向を反転させた場合のカーブを追加したものである。(a)に示されるように、非対称方向の反転を行うことにより秩序形成に多少の遅れが生ずるものの、(b)に示されるように、ゆがみ解消の効果は極めて大きい。
図１０は、図７と同様のグラフに、非対称近傍関数の非対称方向を反転させた場合（□）のカーブを追加したものである。非対称方向の反転を行っても、学習時間の短縮効果はほぼ同様に得られることが保証される。
図１１は、２次元SOMにおける対称近傍関数及び非対称近傍関数を示すグラフである。
図１２は、２次元SOMにおいて対称近傍関数を用いた場合（上段）と非対称近傍関数を用いた場合（下段）の不整合点（くびれ）の解消の速度を示す遷移図である。２次元SOMにおいても、非対称近傍関数を用いることにより、不整合点（くびれ）は早期に解消されることが明瞭に示されている。
なお、上記実施例では理解を容易にするために１次元及び２次元ニューラルネットを例としたが、本発明手法は次元に依存するものでなく、３次元以上のニューラルネットにも同様に適用できることは、当業者であれば容易に理解できるであろう。
【産業上の利用可能性】
【００２２】
SOMアルゴリズムは、情報処理分野において非線形主成分分析、及び多次元データ可視化技術として広く利用されている。そのため、主要な統計処理パッケージ(Matlab等)では、製品としてSOMアルゴリズムが既に実装されている。情報処理分野においてSOMシステムサイズは信号解像度に対応するため、一般的にサイズが大きな系で利用が想定される。その条件下において、本発明法は通常のSOMアルゴリズムと比較して、学習効率の面で特に効果的であるため、広い利用が期待される。
【図面の簡単な説明】
【００２３】
【図１】SOMアルゴリズムの概略説明図。
【図２】２次元SOMにおける学習課程を表す説明図で、特に、途中で不整合点（ねじれ）が発生する場合の説明図。
【図３】１次元SOMにおいて、ねじれを早期に解消するために近傍関数に非対称性を導入することの説明図。
【図４】１次元SOMの非対称近傍関数における非対称パラメータの説明図。
【図５】１次元SOMの学習過程において、対称近傍関数を用いた場合（上段）と非対称近傍関数を用いた場合（下段）の、各ノードの出力ベクトルの秩序形成状況を示すグラフ。非対称近傍関数を用いた場合、2000ステップにおいて既に秩序形成が行われていることがわかる。
【図６】１次元SOMにおいて、対称近傍関数を用いた場合と非対称近傍関数を用いた場合の学習時間（回数）と秩序形成状況のグラフ(a)、及びローカルゆがみの変化を示すグラフ(b)
【図７】ユニットサイズ（ノード数）と、対称近傍関数を用いた場合と非対称近傍関数を用いた場合の秩序形成に必要な学習時間の関係を示すグラフ
【図８】１元SOMにおける非対称関数の非対称方向の反転を示す説明図(a)と、反転しつつ非対称度を徐々に低下させ、対称関数に近づけてゆく手法を示す説明図(b)
【図９】図６と同様のグラフに、非対称近傍関数の非対称方向を反転させた場合のカーブを追加したもの
【図１０】図７と同様のグラフに、非対称近傍関数の非対称方向を反転させた場合（□）のカーブを追加したもの。学習時間の短縮効果はほぼ同様であることが示されている。
【図１１】２次元SOMにおける対称近傍関数及び非対称近傍関数を示すグラフ
【図１２】２次元SOMにおいて対称近傍関数を用いた場合（上段）と非対称近傍関数を用いた場合（下段）の不整合点（くびれ）の解消の速度を示す遷移図
【図１】
2007052677.tif 000003
【図２】
2007052677.tif 000004
【図３】
2007052677.tif 000005
【図４】
2007052677.tif 000006
【図５】
2007052677.tif 000007
【図６】
2007052677.tif 000008
【図７】
2007052677.tif 000009
【図８】
2007052677.tif 000010
【図９】
2007052677.tif 000011
【図１０】
2007052677.tif 000012
【図１１】
2007052677.tif 000013
【図１２】
2007052677.tif 000014