(57)【要約】【課題】自己組織化ネットワークに対して学習後の特徴マップ上のクラスタの位置の制御と学習速度の高速化を同時に行うことを目的とする。【解決手段】特徴マップの初期値として特定の値を与え、また、特定の値を与えた出力ノードの結合加重の学習を制御することによって、学習の初期段階から勝利ノードの位置を制御することによって学習後の特徴マップ上のクラスタの位置の制御が可能となる。さらに、学習の初期段階の早い時期にクラスタの大まかな位置が決定されるため、打ち消し合いによる学習速度の低下が少なく、結果的に、本発明の手法は従来手法と比べて高速に学習を行うことができる。【選択図】  図１
2004318700.tif 000002
【特許請求の範囲】
【請求項１】
特徴マップの初期値として特定の値を与えることを特徴とする特徴マップ形成制御方法。
【請求項２】
特徴マップの初期値として特定の値を与えた出力ノードの結合加重の学習を制御することを特徴とする請求項１の特徴マップ形成制御方法。
【請求項３】
特徴マップの初期値としてクラスタの代表値を与えることを特徴とする請求項１および請求項２の特徴マップ形成制御方法。
【請求項４】
特徴マップ上でクラスタの中心位置として希望する位置にそのクラスタの代表値を与えることを特徴とする請求項３の特徴マップ形成制御方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、人工ニューラルネットワークの一種であり、教師なし学習が可能な、自己組織化ネットワークの、特徴マップ形成の制御を行うための方法についてである。
【０００２】
【従来の技術】
自己組織化ネットワークとその学習方法については「ニューラルコンピューティング入門」（ＩＳＢＮ４−３０３−７２６４０−０）など多くの文献で紹介されている。概略を以下に示す。自己組織化ネットワークはデータの次元数と同数の入力ノードを持ち、多くの場合２次元マップ状の多数の出力ノードを持つ２層構造である。出力ノード間には位置関係があるため、近傍の大きさを指定することで、ある出力ノードとその近傍内の出力ノードを選択することができる。入力ノードと出力ノードの間には結合があり、すべての結合に結合加重が与えられる。つまり、出力ノードそれぞれに学習用データと同じ次元数のデータが結合加重の集まりとして与えられていることになる。この結合加重の集まりを結合加重ベクトルと呼ぶ。初期値として結合加重の値をランダムに与えておく。学習時は、学習用データのそれぞれの次元の値が対応する入力ノードに与えられ、学習用データと出力ノードに与えられた結合加重ベクトルとの距離の計算をすべての出力ノードに対して行い、距離の最も近かったノードを一つ選ぶ。選ばれた出力ノードを勝利ノードと呼ぶ。勝利ノードとその近傍内にある出力ノードとに対して、結合加重が学習用データに近くなるように結合加重の値を調整する。どの程度値を調整するかは学習率という変数で調節する。学習率は近傍内での位置関係によって値が決まる関数である。これをすべての学習用データについて順番に行うことで１回の学習が終了する。近傍の大きさと学習率を次第に小さくしながら学習を繰り返すことによってネットワークを自己組織化することができる。学習後は学習用データの持つ性質を反映したクラスタが特徴マップ上に形成される。
【０００３】
次に、学習終了の判定について述べる。学習終了の判定は、１）あらかじめ学習回数を定めておく、２）学習用データと勝利ノードの距離の最も遠いものが敷居値以下になるなど学習の進み具合により判定する、などの方法がある。１）の場合は学習回数が一定のため、学習の進み具合に無関係に学習終了の回数は一定であるが、学習終了時点での学習の進み具合は学習ごとに異なる。２）の場合、学習の進み具合が早いほど学習終了が速く、学習速度が速い。学習の進み具合は、学習用データと勝利ノードとの距離によって判定することができる。
【０００４】
学習終了後、ネットワークの利用時は、結合加重の値を変更することなく、入力データと結合加重の距離が最も近い出力ノードを選択することで、データが学習用データのどれに近いかを知ることができ、入力データのクラスタリングを行うことができる。
【０００５】
自己組織化ネットワークは特徴マップの初期値としてランダムな値を用いるため、学習後に形成されたクラスタの位置や距離はランダムになり、これを制御することができない。また、学習アルゴリズムの持つ制約によって、特徴マップの中央部分と周辺部分とで近傍領域の大きさが異なるため、全く同じ学習データを用いた場合でも、学習後に形成されるクラスタの大きさが、中央部では大きく、周辺部分では小さくなることが知られている。しかし、学習後のクラスタの大きさや位置、クラスタ間の距離などの制御についての検討はほとんどない。
【０００６】
自己組織化ネットワークの学習速度を高速化する従来手法の多くは、近傍の大きさや学習率といったパラメータの最適化が主流で、特徴マップの初期値の最適化などについての検討は少ない。
【０００７】
【発明が解決しようとする課題】
利用者は学習後の特徴マップ上に形成されるクラスタの大きさや位置関係によってデータの性質を判断する。このため、クラスタの大きさや位置、クラスタ間の距離は非常に重要な要素である。しかし、従来は特徴マップの形成を制御する方法についての検討はほとんどない。この発明はこの課題を改善し、特徴マップの初期値として特定の値を与えることによって、また、特定の値を与えたノードの学習を制御することによって特徴マップの形成を制御することを目的とする。
【０００８】
さらに、学習速度の高速化は自動的に学習を行う手法に共通の課題である。この発明はこの課題を改善し、特徴マップの初期値として特定の値を与えることによって、また、特定の値を与えた出力ノードの結合加重の学習を制御することによって学習速度の高速化を行うことを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、特徴マップの初期値として特定の値を与えるが、これによって学習後の特徴マップのクラスタの位置が制御可能であることを以下に説明する。
【００１０】
学習前、特徴マップの初期値をランダムに与えた後で、任意の出力ノードを１つ選択し（選択出力ノードと呼ぶ）、任意の学習用データを１つ選択し（選択学習用データと呼ぶ）、選択出力ノードの結合加重の値を選択学習用データと同じ値にするとともに、選択出力ノードは学習によって値の微調整を行わないように制御する場合を考える。この条件下において学習を行うと、選択出力ノードと選択学習用データとの間の距離は０なので、他に同じ値の出力ノード（同値出力ノードと呼ぶ）が無ければ、選択出力ノードが必ず勝利ノードになる。まれではあるが、選択出力ノードが勝利ノードにならない可能性があるのは、ランダムに与えた初期値の中に同値出力ノードが存在する場合と、学習による微調整によって同値出力ノードができる場合である。しかし、学習の初期段階では近傍領域が大きいため、全ての出力ノードは、学習の初期段階で他の出力ノードの近傍内に入る。同値出力ノードが他の出力ノードの近傍内に入るとは、他の学習用データに近づくように値の微調整を受けるということであり、選択学習用データとの間の距離は必ず０より大きくなる。値が変化しない選択出力ノードは、常に選択学習用データとの間の距離が０なので、次回の学習で微調整を受けた出力ノードが選択学習用データの勝利ノードとなることはない。今回の学習による微調整によって新しい出力ノードが同値出力ノードとなる場合も、同様の理由によって、次回の学習では勝利ノードになることはない。このように、学習の初期段階の早い時期から選択出力ノードが選択学習用データの勝利ノードとなって学習が進んでゆく。このため、学習終了時点では特徴マップ上の選択出力ノードの周辺に選択学習用データの属するクラスタが形成される。
【００１１】
上記と同様の条件で、選択出力ノードを複数選択し、その結合加重の値をそれぞれ異なる選択学習用データを選択して同じ値にする場合、選択出力ノードは値が変化しないため、お互いに干渉することがなく、上記と同様の理由で、複数の選択出力ノードの周辺にそれぞれの選択学習用データの属するクラスタが形成される。
【００１２】
このように、選択出力ノードが学習によって値の微調整を受けない場合、選択出力ノードの位置と選択学習用データを制御することで、学習後の特徴マップのクラスタの位置が制御可能である。
【００１３】
ランダムに与えた初期値の中に選択出力ノードと同じ値が存在する確率を図２の式２．１に示す。式１によれば、たとえば、選択学習用データ５個、出力ノードの総数１００、有効桁数２桁、次元数５の場合、ｍ個の選択学習用データの内の１つと同じ値の初期値が出現する確率は２万分の１となり、ランダムに与えた初期値の中に同値出力ノードが存在する確率は非常に小さい。
【００１４】
次に、選択出力ノードが他の出力ノードと同様に学習によって値の微調整を受ける場合を考える。上記と同様の条件とパラメータで学習を行うと、学習用データの種類や初期値によって結果が異なるが、学習後の特徴マップを制御することが困難であった。これは、選択出力ノードが他の出力ノードの近傍内に入り学習によって微調整を受けるため、選択学習用データと同じ値にしたという優位性が薄らいだためと考えられる。しかし、学習の初期段階から近傍領域を小さくすることにより、選択出力ノードが当該選択学習用データの勝利ノードとなる可能性を高めることができ、学習後の特徴マップを制御することが可能となった。学習率の初期値を小さな値から始めることも有効であった。近傍領域の大きさの初期値を小さくしたり、学習率の初期値を小さくしたりすることによって、選択出力ノードが学習によって値の微調整を受ける場合にも学習後の特徴マップのクラスタの位置が制御可能であることを計算機シミュレーションによって確認した。
【００１５】
本発明は、特徴マップの初期値として特定の値を与えるが、これによって学習速度の高速化が可能であることを以下に説明する。
【００１６】
従来手法では学習を進めるにあたって、早い順番の学習用データの勝利ノードが遅い順番の学習用データの近傍内に入り、後の学習によって前の学習が打ち消されてしまう状況が発生する。学習の初期段階では特に頻繁に打ち消し合いが発生するため、学習速度を遅くする主な原因の一つであることが知らせている。本発明では特徴マップの初期値として特定の値を与え、また、特定の値を与えた出力ノードの結合加重の学習を制御することによって、学習の初期段階の早い時期にクラスタの大まかな位置が決定されるため、打ち消し合いによる学習速度の低下が少ない。結果的に、本発明の手法は従来手法と比べて高速に学習を行うことができる。
【００１７】
本発明は、以上のような方法に基づいて学習後の特徴マップ上のクラスタの位置の制御と学習速度の高速化を同時に行う自己組織化ネットワークの特徴マップ形成制御方法である。
【００１８】
【発明の実施の形態】
計算機を用いて自己組織化ネットワークのプログラムを作成して実験を行い、この発明の効果を実証した。１００個の出力ノードを１０×１０の２次元に配置し、入力ノードをデータの次元数と同数の５個とし、全ての結合加重を乱数によって初期化した自己組織化ネットワークに対して学習を行った。学習用データは、５次元空間上に５個の中心点を与え、各中心点の周りに正規分布する１０個の合計５０個を乱数により合成した。近傍の大きさの初期値７×７、５×５、３×３、学習率の初期値０．７、０．５、０．３、選択学習用データ数１、５の全ての組み合わせで各１０回実験を行った。
【００１９】
選択出力ノードが学習によって値の微調整を受けない場合では、全ての場合で選択出力ノードの周辺にそれぞれの選択学習用データの属するクラスタが形成された。さらに、従来手法と比較して平均２１％学習速度が高速化された。
【００２０】
選択出力ノードが学習によって値の微調整を受ける場合では、近傍の大きさの初期値５×５で学習率の初期値０．５、０．３の場合、近傍の大きさの初期値３×３で学習率の初期値０．７、０．５、０．３の場合、選択出力ノードの周辺にそれぞれの選択学習用データの属するクラスタが形成された。
【００２１】
これらの結果は、この発明によって学習後の特徴マップのクラスタの位置が制御可能であること、および、学習速度の高速化が可能であることを示している。
【００２２】
【発明の効果】
この発明によれば、学習後の特徴マップのクラスタの位置が制御可能となった。利用者は特徴マップ上に形成されるクラスタの大きさや位置関係によってデータの性質を判断するため、利用者とって理解しやすい特徴マップを形成することが可能となった。さらに、学習速度の高速化を行うことが可能となった。
【図面の簡単な説明】
【図１】自己組織化ネットワークの特徴マップ上に選択出力ノードと４個配置した概念図である。
【図２】ランダムに与えた初期値の中に選択出力ノードと同じ値が存在する確率を示す式である。
【図３】実験に用いた自己組織化ネットワークの出力ノードと入力ノードの関係の概念図である。
【図４】実験に用いた１０×１０の２次元出力マップ、勝利ノード、５×５近傍の概念図である。
【符号の説明】
式１    ランダムの初期値の中に選択出力ノードと同じ値が存在する確率を示す式
【図１】
2004318700.tif 000003
【図２】
2004318700.tif 000004
【図３】
2004318700.tif 000005
【図４】
2004318700.tif 000006