(57)【要約】【課題】ニューラルネットワークを用いた教師なし学習において、効率的に勝者ニューロンを探索できる情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】情報処理装置１００は、多次元の入力ベクトルで記述される複数のニューロンを有し、複数の入力ベクトルを入力して、当該入力ベクトルの入力分布構造を学習する。活性度ベクトル生成部２Ａは、入力ベクトルと、複数の重みベクトルからなる行列と、の積を求めて、活性度ベクトルを生成する。有効活性度ベクトル生成部２Ｂは、活性度ベクトルに、入力ベクトルの有効勝利回数に対して単調減少する係数を乗じて、複数の有効活性度ベクトルを生成する。勝者ニューロン決定部２Ｃは、有効活性度ベクトルの成分のうちで、最大の大きさを有する成分に対応する重みベクトルを勝者ニューロンとして決定する。【選択図】図４
2020042724.tif 000002
【特許請求の範囲】
【請求項１】
多次元の入力ベクトルで記述される複数のニューロンを有し、前記複数の入力ベクトルを入力して、当該入力ベクトルの入力分布構造を学習する情報処理装置において、
前記入力ベクトルと、複数の重みベクトルからなる行列と、の積を求めて、活性度ベクトルを生成する活性度ベクトル生成部と、
前記活性度ベクトルに、前記入力ベクトルの有効勝利回数に対して単調減少する係数を乗じて、複数の有効活性度ベクトルを生成する有効活性度ベクトル生成部と、
前記有効活性度ベクトルの成分のうちで、最大の大きさを有する成分に対応する前記重みベクトルを勝者ニューロンとして決定する勝者ニューロン決定部と、を備える、
情報処理装置。
【請求項２】
前記係数は、前記有効勝利回数に対して単調減少し、かつ、所定の値よりも大きな値をとる、
請求項１に記載の情報処理装置。
【請求項３】
前記係数Ｇ（ｔ）は、前記有効勝利回数をｔとして、以下の式で表される、
請求項２に記載の情報処理装置。
【数１】
2020042724.tif 000019
【請求項４】
前記勝者ニューロンを決定した後に、前記勝者ニューロンの有効勝利回数を増加させる有効勝利回数更新部をさらに備える、
請求項２又は３に記載の情報処理装置。
【請求項５】
前記有効勝利回数更新部は、前記勝者ニューロンを決定した後に、前記勝者ニューロンの有効勝利回数を１だけ増加させる、
請求項４に記載の情報処理装置。
【請求項６】
前記有効勝利回数更新部は、前記勝者ニューロンの有効勝利回数を増加させた値に、さらに１よりも小さい値を乗じる、
請求項４又は５に記載の情報処理装置。
【請求項７】
前記有効勝利回数を更新した後に、前記入力ベクトルと前記勝者ニューロンに対応する重みベクトルとの差を更新された前記有効勝利回数で除したもので、前記勝者ニューロンに対応する重みベクトルを更新する重みベクトル更新部をさらに備える、
請求項４乃至６のいずれか一項に記載の情報処理装置。
【請求項８】
前記重みベクトル更新部は、Ｌ２正則化された前記入力ベクトルとＬ２正則化された前記勝者ニューロンに対応する重みベクトルとの差を、更新された前記有効勝利回数で除して、前記勝者ニューロンに対応する重みベクトルを更新する、
請求項７に記載の情報処理装置。
【請求項９】
多次元の入力ベクトルで記述される複数のニューロンを有し、前記複数の入力ベクトルを入力して、当該入力ベクトルの入力分布構造を学習する情報処理方法であって、
前記入力ベクトルと、複数の重みベクトルからなる行列と、の積を求めて、活性度ベクトルを生成し、
前記活性度ベクトルに、前記入力ベクトルの有効勝利回数に対して単調減少する係数を乗じて、複数の有効活性度ベクトルを生成し、
前記有効活性度ベクトルの成分のうちで、最大の大きさを有する成分に対応する前記重みベクトルを勝者ニューロンとして決定する、
情報処理方法。
【請求項１０】
前記係数は、前記有効勝利回数に対して単調減少し、かつ、所定の値よりも大きな値をとる、
請求項９に記載の情報処理方法。
【請求項１１】
前記係数Ｇ（ｔ）は、前記有効勝利回数をｔとして、以下の式で表される、
請求項１０に記載の情報処理方法。
【数２】
2020042724.tif 000020
【請求項１２】
前記勝者ニューロンを決定した後に、前記勝者ニューロンの有効勝利回数を増加させる、
請求項１０又は１１に記載の情報処理方法。
【請求項１３】
前記勝者ニューロンを決定した後に、前記勝者ニューロンの有効勝利回数を１だけ増加させる、
請求項１２に記載の情報処理方法。
【請求項１４】
前記勝者ニューロンの有効勝利回数を増加させた値に、さらに１よりも小さい値を乗じる、
請求項１２又は１３に記載の情報処理方法。
【請求項１５】
前記有効勝利回数を更新した後に、前記入力ベクトルと前記勝者ニューロンに対応する重みベクトルとの差を更新された前記有効勝利回数で除したもので、前記勝者ニューロンに対応する重みベクトルを更新する、
請求項１２乃至１４のいずれか一項に記載の情報処理方法。
【請求項１６】
Ｌ２正則化された前記入力ベクトルとＬ２正則化された前記勝者ニューロンに対応する重みベクトルとの差を、更新された前記有効勝利回数で除して、前記勝者ニューロンに対応する重みベクトルを更新する、
請求項１５に記載の情報処理方法。
【請求項１７】
多次元の入力ベクトルで記述される複数のニューロンを有し、前記複数の入力ベクトルを入力して、当該入力ベクトルの入力分布構造を学習する処理をコンピュータに実行させるプログラムであって、
前記入力ベクトルと、複数の重みベクトルからなる行列と、の積を求めて、活性度ベクトルを生成する処理と、
前記活性度ベクトルに、前記入力ベクトルの有効勝利回数に対して単調減少する係数を乗じて、複数の有効活性度ベクトルを生成する処理と、
前記有効活性度ベクトルの成分のうちで、最大の大きさを有する成分に対応する前記重みベクトルを勝者ニューロンとして決定する処理と、をコンピュータに実行させる、
プログラム。
【請求項１８】
前記係数は、前記有効勝利回数に対して単調減少し、かつ、所定の値よりも大きな値をとる、
請求項１７に記載のプログラム。
【請求項１９】
前記係数Ｇ（ｔ）は、前記有効勝利回数をｔとして、以下の式で表される、
請求項１８に記載のプログラム。
【数３】
2020042724.tif 000021
【請求項２０】
前記勝者ニューロンを決定した後に、前記勝者ニューロンの有効勝利回数を増加させる、
請求項１８又は１９に記載のプログラム。
【請求項２１】
前記勝者ニューロンを決定した後に、前記勝者ニューロンの有効勝利回数を１だけ増加させる、
請求項２０に記載のプログラム。
【請求項２２】
前記勝者ニューロンの有効勝利回数を増加させた値に、さらに１よりも小さい値を乗じる、
請求項２０又は２１に記載のプログラム。
【請求項２３】
前記有効勝利回数を更新した後に、前記入力ベクトルと前記勝者ニューロンに対応する重みベクトルとの差を更新された前記有効勝利回数で除したもので、前記勝者ニューロンに対応する重みベクトルを更新する、
請求項２０乃至２２のいずれか一項に記載のプログラム。
【請求項２４】
Ｌ２正則化された前記入力ベクトルとＬ２正則化された前記勝者ニューロンに対応する重みベクトルとの差を、更新された前記有効勝利回数で除して、前記勝者ニューロンに対応する重みベクトルを更新する、
請求項２３に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
教師なし学習において、学習中に必要に応じてニューロンを増殖させる学習手法として、自己組織化ニューラルネットワーク（ＳＯＩＮＮ：Self-Organizing Incremental Neural Network）と呼ばれる手法が提案されている（特許文献１及び２）。ＳＯＩＮＮでは、ノード数を自律的に管理することにより非定常的な入力を学習することができ、複雑な分布形状を有するクラスに対しても適切なクラス数及び位相構造を抽出できるなど多くの利点を有する。ＳＯＩＮＮの応用例として、例えばパターン認識においては、ひらがな文字のクラスを学習させた後に、カタカナ文字のクラスなどを追加的に学習させることができる。
【０００３】
ＳＯＩＮＮの１つとして、Ｅ−ＳＯＩＮＮ（Enhanced SOINN）が提案されている（特許文献１）。Ｅ−ＳＯＩＮＮでは、学習を随時追加するオンライン追加学習が可能であり、バッチ学習ではなく学習効率が良いという利点を有している。このため、Ｅ−ＳＯＩＮＮでは、学習環境が新しい環境に変化した場合においても追加学習が可能である。また、Ｅ−ＳＯＩＮＮでは、入力データに対するノイズ耐性が高いという利点をも有している。
【０００４】
また、ＳＯＩＮＮの１つとして、ＬＢ−ＳＯＩＮＮ（Load Balance SOINN）が提案されている（特許文献２）。ＬＢ−ＳＯＩＮＮでは、ネットワークにおけるノードの負荷を示すノード学習時間を導入し、ノード学習時間を使用してノードの負荷の平衡化が行われる。これにより、前述のＥ−ＳＯＩＮＮよりもネットワークをより安定化させることができる。このため、ＬＢ−ＳＯＩＮＮを負荷平衡（Load Balance）と称している。また、ＬＢ−ＳＯＩＮＮでは、ボロノイテセレーション（Voronoi Tessellation）に基づくサブクラスタ決定手法が使用されており、クラス間の重複領域を削除するときのネットワーク構造の乱れを回避することができる。さらに、ＬＢ−ＳＯＩＮＮでは、高次元データをオンライン追加学習するのに適した、２つのノード間の類似度を示す距離尺度が導入されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２１７２４６号公報
【特許文献２】国際公開第２０１４／１２９１１６号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したＳＯＩＮＮは、具体的なアルゴリズムは相違しているものの、ネットワークのニューロン（ノード）から勝者ニューロンを探索するものである。しかし、上記のＳＯＩＮＮでは、入力データとニューロンとの距離を計算し、ニューロン同士を辺で接続し、新規のニューロンを挿入するなどの複雑な処理が行われる。しかし、ＳＯＩＮＮの活用が期待される機器などでは、低負荷の処理にて教師なしオンライン学習の実現が期待される事情があり、より低負荷かつ高精度に勝者ニューロンを探索する手法の確立が求められている。
【０００７】
本発明は上記の事情に鑑みて成されたものであり、ニューラルネットワークを用いた教師なし学習において、効率的に勝者ニューロンを探索できる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様である情報処理装置は、多次元の入力ベクトルで記述される複数のニューロンを有し、前記複数の入力ベクトルを入力して、当該入力ベクトルの入力分布構造を学習する情報処理装置において、前記入力ベクトルと、複数の重みベクトルからなる行列と、の積を求めて、活性度ベクトルを生成する活性度ベクトル生成部と、前記活性度ベクトルに、前記入力ベクトルの有効勝利回数に対して単調減少する係数を乗じて、複数の有効活性度ベクトルを生成する有効活性度ベクトル生成部と、前記有効活性度ベクトルの成分のうちで、最大の大きさを有する成分に対応する前記重みベクトルを勝者ニューロンとして決定する勝者ニューロン決定部と、を有するものである。
【０００９】
本発明の一態様である情報処理装置は、上記の情報処理装置において、前記係数は、前記有効勝利回数に対して単調減少し、かつ、所定の値よりも大きな値をとるものである。
【００１０】
本発明の一態様である情報処理装置は、上記の情報処理装置において、前記係数Ｇ（ｔ）は、前記有効勝利回数をｔとして、以下の式で表されるものである。
【数１】
2020042724.tif 000003
【００１１】
本発明の一態様である情報処理装置は、上記の情報処理装置において、前記勝者ニューロンを決定した後に、前記勝者ニューロンの有効勝利回数を増加させる有効勝利回数更新部をさらに有するものである。
【００１２】
本発明の一態様である情報処理装置は、上記の情報処理装置において、前記有効勝利回数更新部は、前記勝者ニューロンを決定した後に、前記勝者ニューロンの有効勝利回数を１だけ増加させるものである。
【００１３】
本発明の一態様である情報処理装置は、上記の情報処理装置において、前記有効勝利回数更新部は、前記勝者ニューロンの有効勝利回数を増加させた値に、さらに１よりも小さい値を乗じるものである。
【００１４】
本発明の一態様である情報処理装置は、上記の情報処理装置において、前記有効勝利回数を更新した後に、前記入力ベクトルと前記勝者ニューロンに対応する重みベクトルとの差を更新された前記有効勝利回数で除したもので、前記勝者ニューロンに対応する重みベクトルを更新する重みベクトル更新部をさらに有するものである。
【００１５】
本発明の一態様である情報処理装置は、上記の情報処理装置において、前記重みベクトル更新部は、Ｌ２正則化された前記入力ベクトルとＬ２正則化された前記勝者ニューロンに対応する重みベクトルとの差を、更新された前記有効勝利回数で除して、前記勝者ニューロンに対応する重みベクトルを更新するものである。
【００１６】
本発明の一態様である情報処理方法は、多次元の入力ベクトルで記述される複数のニューロンを有し、前記複数の入力ベクトルを入力して、当該入力ベクトルの入力分布構造を学習する情報処理方法であって、前記入力ベクトルと、複数の重みベクトルからなる行列と、の積を求めて、活性度ベクトルを生成し、前記活性度ベクトルに、前記入力ベクトルの有効勝利回数に対して単調減少する係数を乗じて、複数の有効活性度ベクトルを生成し、前記有効活性度ベクトルの成分のうちで、最大の大きさを有する成分に対応する前記重みベクトルを勝者ニューロンとして決定するものである。
【００１７】
本発明の一態様である情報処理方法は、上記の情報処理方法であって、前記係数は、前記有効勝利回数に対して単調減少し、かつ、所定の値よりも大きな値をとるものである。
【００１８】
本発明の一態様である情報処理方法は、上記の情報処理方法であって、前記係数Ｇ（ｔ）は、前記有効勝利回数をｔとして、以下の式で表されるものである。
【数２】
2020042724.tif 000004
【００１９】
本発明の一態様である情報処理方法は、上記の情報処理方法であって、前記勝者ニューロンを決定した後に、前記勝者ニューロンの有効勝利回数を増加させるものである。
【００２０】
本発明の一態様である情報処理方法は、上記の情報処理方法であって、前記勝者ニューロンを決定した後に、前記勝者ニューロンの有効勝利回数を１だけ増加させるものである。
【００２１】
本発明の一態様である情報処理方法は、上記の情報処理方法であって、前記勝者ニューロンの有効勝利回数を増加させた値に、さらに１よりも小さい値を乗じるものである。
【００２２】
本発明の一態様である情報処理方法は、上記の情報処理方法であって、前記有効勝利回数を更新した後に、前記入力ベクトルと前記勝者ニューロンに対応する重みベクトルとの差を更新された前記有効勝利回数で除したもので、前記勝者ニューロンに対応する重みベクトルを更新するものである。
【００２３】
本発明の一態様である情報処理方法は、上記の情報処理方法であって、Ｌ２正則化された前記入力ベクトルとＬ２正則化された前記勝者ニューロンに対応する重みベクトルとの差を、更新された前記有効勝利回数で除して、前記勝者ニューロンに対応する重みベクトルを更新するものである。
【００２４】
本発明の一態様であるプログラムは、多次元の入力ベクトルで記述される複数のニューロンを有し、前記複数の入力ベクトルを入力して、当該入力ベクトルの入力分布構造を学習する処理をコンピュータに実行させるプログラムであって、前記入力ベクトルと、複数の重みベクトルからなる行列と、の積を求めて、活性度ベクトルを生成する処理と、前記活性度ベクトルに、前記入力ベクトルの有効勝利回数に対して単調減少する係数を乗じて、複数の有効活性度ベクトルを生成する処理と、前記有効活性度ベクトルの成分のうちで、最大の大きさを有する成分に対応する前記重みベクトルを勝者ニューロンとして決定する処理と、をコンピュータに実行させるものである。
【００２５】
本発明の一態様であるプログラムは、上記のプログラムであって、前記係数は、前記有効勝利回数に対して単調減少し、かつ、所定の値よりも大きな値をとるものである。
【００２６】
本発明の一態様であるプログラムは、上記のプログラムであって、前記係数Ｇ（ｔ）は、前記有効勝利回数をｔとして、以下の式で表されるものである。
【数３】
2020042724.tif 000005
【００２７】
本発明の一態様であるプログラムは、上記のプログラムであって、前記勝者ニューロンを決定した後に、前記勝者ニューロンの有効勝利回数を増加させるものである。
【００２８】
本発明の一態様であるプログラムは、上記のプログラムであって、前記勝者ニューロンを決定した後に、前記勝者ニューロンの有効勝利回数を１だけ増加させるものである。
【００２９】
本発明の一態様であるプログラムは、上記のプログラムであって、前記勝者ニューロンの有効勝利回数を増加させた値に、さらに１よりも小さい値を乗じるものである。
【００３０】
本発明の一態様であるプログラムは、上記のプログラムであって、前記有効勝利回数を更新した後に、前記入力ベクトルと前記勝者ニューロンに対応する重みベクトルとの差を更新された前記有効勝利回数で除したもので、前記勝者ニューロンに対応する重みベクトルを更新するものである。
【００３１】
本発明の一態様であるプログラムは、上記のプログラムであって、Ｌ２正則化された前記入力ベクトルとＬ２正則化された前記勝者ニューロンに対応する重みベクトルとの差を、更新された前記有効勝利回数で除して、前記勝者ニューロンに対応する重みベクトルを更新するものである。
【発明の効果】
【００３２】
本発明によれば、ニューラルネットワークを用いた教師なし学習において、効率的に勝者ニューロンを探索できる情報処理装置、情報処理方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００３３】
【図１】実施の形態１にかかる情報処理装置を実現するためのシステム構成の一例を示す図である。
【図２】実施の形態１にかかる情報処理装置の構成を模式的に示す図である。
【図３】実施の形態１にかかる初期処理部の構成を模式的に示す図である。
【図４】実施の形態１にかかる勝者ニューロン探索部の構成を模式的に示す図である。
【図５】実施の形態１にかかる更新部の構成を模式的に示す図である。
【図６】実施の形態１にかかる情報処理装置での処理手順を示すフローチャートである。
【発明を実施するための形態】
【００３４】
以下、図面を参照して本発明の実施の形態について説明する。各図面においては、同一要素には同一の符号が付されており、必要に応じて重複説明は省略される。
【００３５】
実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。図１は、Ｆ−ＳＯＩＮＮの一例としての、実施の形態１にかかる情報処理装置を実現するためのシステム構成の一例を示す図である。情報処理装置１００は、専用コンピュータ、パーソナルコンピュータ（ＰＣ）などのコンピュータ１０により実現可能である。但し、コンピュータは、物理的に単一である必要はなく、分散処理を実行する場合には、複数であってもよい。図１に示すように、コンピュータ１０は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２及びＲＡＭ（Random Access Memory）１３を有し、これらがバス１４を介して相互に接続されている。尚、コンピュータを動作させるためのＯＳソフトなどは、説明を省略するが、この情報処理装置を構築するコンピュータも当然有しているものとする。
【００３６】
バス１４には又、入出力インターフェイス１５も接続されている。入出力インターフェイス１５には、例えば、キーボード、マウス、センサなどよりなる入力部１６、ＣＲＴ、ＬＣＤなどよりなるディスプレイ、並びにヘッドフォンやスピーカなどよりなる出力部１７、ハードディスクなどより構成される記憶部１８、モデム、ターミナルアダプタなどより構成される通信部１９などが接続されている。
【００３７】
ＣＰＵ１１は、ＲＯＭ１２に記憶されている各種プログラム、又は記憶部１８からＲＡＭ１３にロードされた各種プログラムに従って各種の処理、本実施の形態においては、例えば後述する情報処理装置１００の各部の処理を実行する。ＲＡＭ１３には又、ＣＰＵ１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００３８】
通信部１９は、例えば図示しないインターネットを介しての通信処理を行ったり、ＣＰＵ１１から提供されたデータを送信したり、通信相手から受信したデータをＣＰＵ１１、ＲＡＭ１３、記憶部１８に出力したりする。記憶部１８はＣＰＵ１１との間でやり取りし、情報の保存・消去を行う。通信部１９は又、他の装置との間で、アナログ信号又はディジタル信号の通信処理を行う。
【００３９】
入出力インターフェイス１５はまた、必要に応じてドライブ２０が接続され、例えば、磁気ディスク２０１、光ディスク２０２、フレキシブルディスク２０３、又は半導体メモリ２０４などが適宜装着され、それらから読み出されたコンピュータプログラムが必要に応じて記憶部１８にインストールされる。
【００４０】
続いて、本実施の形態にかかる情報処理装置１００における各処理について説明する。図２に、実施の形態１にかかる情報処理装置１００の構成を模式的に示す。ハードウェア上は、各処理は実際にはソフトウェアと上記ＣＰＵ１１などのハードウェア資源とが協働して実現している。
【００４１】
情報処理装置１００は、多次元の入力ベクトルで記述される複数のニューロンが配置される非階層構造のニューラルネットワークを有し、当該入力ベクトルの入力分布構造を学習する情報処理装置として構成される。情報処理装置１００は、初期処理部１、勝者ニューロン探索部２及び更新部３を有する。
【００４２】
本実施の形態においては、情報処理装置１００が有するニューラルネットワークは、入力ベクトルをニューラルネットワークに入力し、入力される入力ベクトルに基づいて、ニューラルネットワークにニューロンから勝者を選択し、勝者ニューロンを自動的に入力データに近づけることができるものであり、また、ニューラルネットワークは非階層構造を有するものとして以下説明する。
【００４３】
情報処理装置１００においては、入力ベクトル空間からランダムに入力ベクトルが与えられる定常的な環境に限られず、例えば一定期間毎に入力ベクトルの属するクラスが切替えられて、切替後のクラスからランダムに入力ベクトルが与えられる非定常的な環境にも対応することができる。さらにまた、非階層構造を採用することで、他の層での学習を開始するタイミングを指定せずに追加学習を実施することができる。即ち、完全なオンラインでの追加学習を実施することができる。
【００４４】
図３に、実施の形態１にかかる初期処理部１の構成を模式的に示す。初期処理部１は、入力処理部１Ａ及び初期設定部１Ｂを有する。
【００４５】
入力処理部１Ａは、情報処理装置１００に入力として与えられる情報として、多次元次元の入力ベクトルを取得する。そして、取得された入力ベクトルを一時記憶部（例えばＲＡＭ１３）に格納し、一時記憶部に格納されたニューラルネットワークに対して順次入力する。
【００４６】
初期設定部１Ｂは、学習を開始するにあたり、以下で説明する処理に必要なパラメータや情報などの初期設定を行う。
【００４７】
次いで、勝者ニューロン探索部２について説明する。図４に、実施の形態１にかかる勝者ニューロン探索部２の構成を模式的に示す。勝者ニューロン探索部２は、活性度ベクトル生成部２Ａ、有効活性度ベクトル生成部２Ｂ及び勝者ニューロン決定部２Ｃを有する。
【００４８】
活性度ベクトル生成部２Ａは、ニューラルネットワークのニューロンに対応する複数の重みベクトルを成分とする重み行列と入力ベクトルとの積を求めることで、活性度ベクトルを生成する。
【００４９】
有効活性度ベクトル生成部２Ｂは、活性度ベクトルを、重みベクトルの有効勝利回数を用いて補正することで、有効活性度ベクトルを生成する。
【００５０】
勝者ニューロン決定部２Ｃは、有効活性度ベクトルに基づいて、複数の重みベクトルに対応するニューロンから、勝者ニューロンを決定する。
【００５１】
次いで、更新部３について説明する。図５に、実施の形態１にかかる更新部３の構成を模式的に示す。更新部３は、有効勝利回数更新部３Ａ及び重みベクトル更新部３Ｂを有する。
【００５２】
有効勝利回数更新部３Ａは、勝者ニューロンの重みベクトルの有効勝利回数を増加させることで、当該有効勝利回数を更新する。
【００５３】
重みベクトル更新部３Ｂは、勝者ニューロンの重みベクトルを、更新した有効勝利回数に基づいて更新する。
【００５４】
続いて、実施の形態１にかかる勝者ニューロンの探索手順について説明する。図６は、実施の形態１にかかる情報処理装置１００での処理手順を示すフローチャートである。
【００５５】
ステップＳ１１
入力処理部１Ａは、以下の式で定義される入力ベクトルｘｉの集合である入力データＸを入力し、その結果を一時記憶部に格納する。
【数４】
2020042724.tif 000006
上式において、ｉは２以上の整数であり（すなわち、Ｎは２以上の整数）、ｄは整数である。
【００５６】
ステップＳ１２
初期設定部１Ｂは、重み行列Ｗ、有効勝利回数ｔ及び学習率ηの初期設定を行う。まず、初期設定部１Ｂは、重み行列Ｗを、１次元正規分布に従う重み行列Ｗを重みベクトルｗｊを成分とする行列であり、以下の式により定義される。
【数５】
2020042724.tif 000007
次いで、初期設定部１Ｂは、重みベクトルｗｊについて、Ｌ２正則化を行う。
【数６】
2020042724.tif 000008
【００５７】
初期設定部１Ｂは、有効勝利回数ｔの初期値として、０を設定する。
【数７】
2020042724.tif 000009
【００５８】
初期設定部１Ｂは、学習率ηの初期値として、１０−３を設定する。但し、学習率ηの値はこれに限られるものではなく、目的に応じて１よりも小さな任意の値を設定することができる。
【数８】
2020042724.tif 000010
【００５９】
ステップＳ１３
活性度ベクトル生成部２Ａは、重み行列Ｗと入力ベクトルｘｉとの積である活性度ベクトルｙｉを生成する。
【数９】
2020042724.tif 000011
【００６０】
ステップＳ１４
有効活性度ベクトル生成部２Ｂは、有効勝利回数ｔの関数である係数Ｇ（ｔ）を活性度ベクトルｙｉに乗じて、有効活性度ベクトルｙｉ＿ｅｆｆを生成する。具体的には、有効活性度ベクトル生成部２Ｂは、以下の式に基づいて有効活性度ベクトルｙｉ＿ｅｆｆを生成する。
【数１０】
2020042724.tif 000012
上式では、係数Ｇ（ｔ）は０．５を漸近線とする単調減少関数である。すなわち、有効勝利回数ｔが大きくなると係数Ｇ（ｔ）の値が小さくなるので、それに伴って、有効活性度ベクトルｙｉ＿ｅｆｆの値も小さくなる。しかし、係数Ｇ（ｔ）は０．５以下の値にはならないので、有効勝利回数ｔが大きくなっても、有効活性度ベクトルｙｉ＿ｅｆｆは、活性度ベクトルｙｉの０．５倍よりも大きい状態で維持される。
【００６１】
すなわち、学習が進むにつれて、有効勝利回数が多いニューロン（重みベクトル）ほど、勝利する可能性が低減することとなる。
【００６２】
なお、係数Ｇ（ｔ）は係数の一例であって、有効勝利回数ｔの増加に伴って単調減少する他の関数を用いてもよい。
【００６３】
ステップＳ１５
勝者ニューロン決定部２Ｃは、有効活性度ベクトルｙｉ＿ｅｆｆの成分のうちから、最大の値に対応する重みベクトルのニューロンを、勝者ニューロンｓとして決定する。
【数１１】
2020042724.tif 000013
【００６４】
ステップＳ１６
その後、有効勝利回数更新部３Ａは、入力ベクトルｘｉに対し、Ｌ２正則化を行う。
【数１２】
2020042724.tif 000014
【００６５】
次いで、有効勝利回数更新部３Ａは、勝者ニューロンｓの有効勝利回数ｔ［ｓ］を更新するため、勝者ニューロンｓの有効勝利回数ｔ［ｓ］を１だけ増加させる。但し、有効勝利回数ｔの増加量は、１に限られるものではない。
【数１３】
2020042724.tif 000015
【００６６】
次いで、有効勝利回数更新部３Ａは、有効勝利回数ｔに（１−η）を乗じて、全ての重みベクトルの有効勝利回数ｔを更新する。
【数１４】
2020042724.tif 000016
【００６７】
ステップＳ１７
重みベクトル更新部３Ｂは、以下の式に示す通り、勝利ニューロンの重みｗｓを更新する。
【数１５】
2020042724.tif 000017
上式では、有効勝利回数ｔが大きいほど、上式の右辺第２項の値が低減されることとなる。これにより、有効勝利回数ｔが大きいニューロンほど、重みの更新による重みの変動量が抑制されることとなる。
【００６８】
つまり、学習が進むにつれて、有効勝利回数が多いニューロン（重みベクトル）ほど、勝利する可能性が低減することとなる。
【００６９】
その後、重みベクトル更新部３Ｂは、勝利ニューロンの重みｗｓについて、Ｌ２正則化を行う。
【数１６】
2020042724.tif 000018
【００７０】
上記で説明したように、本構成では、勝利回数が多いニューロンほど勝利しにくくなり、勝利回数が少ないニューロンほど勝利しやすくなるため、特定のニューロンの勝利回数が過度に増加することを防止し、ニューロンの凝集や重複を防止することができる。
【００７１】
本構成では、勝利回数が増えても、有効勝利回数が一定の値よりも大きな値に維持されるように、勝者ニューロンの有効勝利回数を更新する。これにより、勝利回数が多いニューロンが勝利する機会（可能性）を過度に抑制することを防止できる。これにより、入力データから遠いが勝利回数が少ないニューロンを誤って勝者ニューロンとしてしまうことを防止し、学習効率を向上させることができる。
【００７２】
また、本構成では、上記した有効勝利回数を制御することで、効率よく勝者ニューロンを決定し、かつ、効率的な学習を行うことができる。つまり、複数のニューロンと入力データとの間の距離を同時に計算し、ネットワークを構成するためにニューロンを辺で接続し、又は、新規のニューロンを挿入するなどの複雑な処理を行う必要がない。その結果、ニューラルネットワークを用いた教師なし学習において、効率的に勝者ニューロンを探索できることが理解できる。
【００７３】
その他の実施の形態
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記で説明した情報処理方法は、ＡＳＩＣ（Application Specific Integrated Circuit）を含む半導体処理装置を用いて実現されてもよい。また、これらの処理は、少なくとも１つのプロセッサ（e.g. マイクロプロセッサ、ＭＰＵ、ＤＳＰ（Digital Signal Processor））を含むコンピュータシステムにプログラムを実行させることによって実現されてもよい。具体的には、これらの送信信号処理又は受信信号処理に関するアルゴリズムをコンピュータシステムに行わせるための命令群を含む１又は複数のプログラムを作成し、当該プログラムをコンピュータに供給すればよい。
【００７４】
これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【００７５】
１Ａ            入力処理部
１Ｂ  初期設定部
２  勝者ニューロン探索部
２Ａ  活性度ベクトル生成部
２Ｂ  有効活性度ベクトル生成部
２Ｃ  勝者ニューロン決定部
３  更新部
３Ａ  有効勝利回数更新部
３Ｂ  ベクトル更新部
１０  コンピュータ
１１  ＣＰＵ
１２  ＲＯＭ
１３  ＲＡＭ
１４  バス
１５  入出力インターフェイス
１６  入力部
１７  出力部
１８  記憶部
１９  通信部
２０  ドライブ
１００  情報処理装置
２０１  磁気ディスク
２０２  光ディスク
２０３  フレキシブルディスク
２０４  半導体メモリ
【図１】
2020042724.tif 000022
【図２】
2020042724.tif 000023
【図３】
2020042724.tif 000024
【図４】
2020042724.tif 000025
【図５】
2020042724.tif 000026
【図６】
2020042724.tif 000027