(57)【要約】【課題】  自己組織化ネットワークに対して学習用データを最適に与えることによって学習速度の高速化を行うことを目的とする。【解決手段】  早い順番の学習用データの勝利ノードが遅い順番の学習用データによって学習を打ち消されてしまうという状況が頻発する。そこで、ｎ−１の学習がｎの学習によって打ち消されないためのｎの学習用データ満がたすべき値の範囲を導き、学習速度を高速化することができることを示した。さらに、新たに条件を設け、学習用データを昇順あるいは降順に与えることにより、学習速度を高速化することができることを示した。【選択図】  図６
2005284128.tif 000002
【特許請求の範囲】
【請求項１】
学習用データの入力順序を学習用データの値を基に調整することで高速化を行う自己組織化ネットワークの高速学習方法。
【請求項２】
結合加重の初期値を学習用データを基に調整することで高速化を行う自己組織化ネットワークの高速学習方法。
【請求項３】
学習用データの各次元の値が昇順になるように学習用データの入力順序を調整することで高速化を行う請求項１の自己組織化ネットワークの高速学習方法。
【請求項４】
学習用データの各次元の値が降順になるように学習用データの入力順序を調整することで高速化を行う請求項１の自己組織化ネットワークの高速学習方法。
【請求項５】
結合加重の初期値を学習用データの最大値以上にすることで高速化を行う請求項２の自己組織化ネットワークの高速学習方法。
【請求項６】
結合加重の初期値を学習用データの最小値以下にすることで高速化を行う請求項２の自己組織化ネットワークの高速学習方法。
【請求項７】
請求項１と請求項２の特徴を備えた自己組織化ネットワークの高速学習方法。
【請求項８】
請求項３と請求項５の特徴を備えた請求項７の自己組織化ネットワークの高速学習方法。
【請求項９】
請求項４と請求項６の特徴を備えた請求項７の自己組織化ネットワークの高速学習方法。
【請求項１０】
各次元ごとに請求項１または請求項３または請求項４または請求項７もしくは請求項８もしくは請求項９の特徴を備えた自己組織化ネットワークの高速学習方法。
【請求項１１】
学習データの一部分が請求項１または請求項３または請求項４または請求項７または請求項８または請求項９または請求項１０の特徴を備えた自己組織化ネットワークの高速学習方法。
【請求項１２】
学習データの後ろ部分が請求項１または請求項３または請求項４または請求項７または請求項８または請求項９または請求項１０の特徴を備えた請求項１１の自己組織化ネットワークの高速学習方法。
【請求項１３】
結合加重の初期値の一部分が請求項２または請求項５または請求項６または請求項７または請求項８または請求項９または請求項１０または請求項１１または請求項１２の特徴を備えた自己組織化ネットワークの高速学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、人工ニューラルネットワークの一種であり、教師なし学習が可能な、自己組織化ネットワークの、学習速度の高速化を行うための学習方法に関するものである。
【背景技術】
【０００２】
自己組織化ネットワークとその学習方法については「ニューラルコンピューティング入門」（ＩＳＢＮ４−３０３−７２６４０−０）など多くの文献で紹介されている。概略を以下に示す。自己組織化ネットワークはデータの次元数と同数の入力ノードを持ち、多くの場合２次元マップ状の多数の出力ノードを持つ２層構造である。出力ノードの集まりを特徴マップと呼ぶことにする。出力ノード間には位置関係があるため、あらかじめ近傍の大きさを指定することで、ある出力ノードとその近傍内の出力ノードを選択することができる。入力ノードと出力ノードの間には結合があり、すべての結合に結合加重が与えられる。つまり、出力ノードそれぞれに学習用データと同じ次元数のデータが結合加重の集まりとして与えられていることになる。この結合加重の集まりを結合加重ベクトルと呼ぶことにする。
【０００３】
一般に、結合加重の初期値はランダムな値を与える。
【０００４】
学習時は、学習用データのそれぞれの次元の値が対応する入力ノードに与えられ、学習用データと出力ノードに与えられた結合加重ベクトルとの距離の計算をすべての出力ノードに対して行い、距離の最も近かったノードを一つ選ぶ。選ばれた出力ノードを勝利ノードと呼ぶことにする。
【０００５】
一般に、距離はユークリッド距離を用いる。
【０００６】
勝利ノードとその近傍内にある出力ノードとに対して、結合加重ベクトルが学習用データに近くなるように結合加重ベクトルの値を調整する。どの程度値を調整するかは学習率という変数で調節する。学習率は近傍内での位置関係によって値が決まる関数である。これをすべての学習用データについて順番に行うことで１回の学習が終了する。近傍の大きさと学習率を次第に小さくしながら学習を繰り返すことによってネットワークを自己組織化することができる。
【０００７】
次に、学習終了の判定について述べる。学習終了の判定は、１）あらかじめ学習回数を定めておく、２）学習用データと勝利ノードの距離の最も遠いものが閾値以下になるなど、学習の進み具合により判定する、などの方法がある。１）の場合は学習回数が一定のため、学習の進み具合に無関係に学習終了の回数は一定でり、学習終了時点での学習の進み具合は学習ごとに異なる。２）の場合、学習終了時点での学習の進み具合は学習ごとに同じで、学習の進み具合が早いほど学習終了が速く、学習速度が速い。
【０００８】
学習の進み具合は、学習用データと勝利ノードとの距離によって判定することができる。
【０００９】
次に、学習終了後のネットワークの利用方法について述べる。学習終了の時点で結合加重ベクトルの値を固定する。ネットワーク利用時は、入力データと結合加重ベクトルの距離が最も近い出力ノードを選択することで、データが学習用データのどれに近いかを知ることができ、入力データのクラスタリングを行うことができる。
【００１０】
自己組織化ネットワークの学習速度を高速化する従来手法の多くは、近傍の大きさや学習率といったパラメータの最適化が主流で、学習アルゴリズムの改良や、結合加重ベクトルの初期値や学習用データの与え方の最適化などについての検討は少ない。
【００１１】
下にあげる特許文献１では、学習速度の高速化を目的として、学習用データの入力順序を調整している。特許文献１と本発明との違いを発明の開示において明らかにする。
【００１２】
下にあげる特許文献２では、結合加重の初期値の一部を調整しているが、これは特徴マップの形成を制御するためであり、学習速度の高速化を目的としていない。
【特許文献１】特願2003-86533
【特許文献２】特願2003-114379
【発明の開示】
【発明が解決しようとする課題】
【００１３】
学習速度の高速化は自動的に学習を行う手法に共通の課題である。この発明はこの課題を改善し、自己組織化ネットワークに対して学習用データを最適に与えることによって学習速度の高速化を行うことを目的とする。
【課題を解決するための手段】
【００１４】
自己組織化ネットワークの学習時における結合加重の変化について考察する。ある出力ノードの結合加重の変化は図１の式１０１の漸化式で表現される。近傍が大きく、すべての学習用データに対してすべての出力ノードが近傍内にある場合は、すべての出力ノードでｎの範囲は学習用データ全体となる。近傍が小さく、一部の出力ノードのみ近傍内にある場合は、ｎの範囲を各出力ノードが影響を受ける学習用データと考えれば、各出力ノードの結合加重の変化は同様に式１０１で表現できる。式１０１の漸化式を変形して、初期値と学習用データによって結合加重の変化を示す式１０３が得られる。式１０３を見ると、ｇ＝０の時は結合加重の変化がなく、ｇ＝１の時は結合加重は常に最後の学習用データと同じ値となることがわかる。学習用データの順番が進む間は近傍の大きさとｇの値を変化させない。学習回数が進むにつれて近傍の大きさとｇの値を小さくしてゆく。
【００１５】
学習を進めるにあたって、早い順番の学習用データの勝利ノードが遅い順番の学習用データの近傍内に入り、遅い順番の学習によって早い順番の学習が打ち消されてしまう状況が発生する。
【００１６】
特許文献１では、学習用データ間で図２の式２０２に示す条件を満たす場合に、ｎ−１の学習がｎの学習によって打ち消されないで式２０３の状態になることや、式２０１の右辺第２項から、対象となる学習用データ間の距離が大きいほど打ち消される度合いが大きく、距離が小さいほど打ち消される度合いが小さいことがわかる、と指摘している。式２０１を変形した式２０４を見るとより明確である。
【００１７】
特許文献１では、学習が打ち消されない条件は式２０３の場合であると指摘しているが、より精密には式２０３を含む図３の式３０１の場合である。従って、式２０２の条件はより精密な議論が必要である。
【００１８】
また、特許文献１での指摘の通り、式２０１の右辺第２項から、学習用データ間の距離によって学習の打ち消される度合いを類推することは可能であるが、これについても、より精密な議論が必要である。
【００１９】
図３の式３０１が成立する条件を式の変形によって求める。式３０１を変形して式３０３を得る。式３０３の右辺の絶対値の中が正または０の場合、図４に示す変形を行うことで式４０４を得る。式３０３の右辺の絶対値の中が負の場合、図５に示す変形を行うことで式５０４を得る。従って、式３０１が成立する条件は図６の式６０１となる。式２０２は式６０１に含まれる。図６は、ｎの学習用データが式６０１の範囲内にあれば、ｎ−１の学習がｎの学習によって打ち消されないことを示している。
【００２０】
学習用データの入力順序が常に式６０１を満たすように決定する高速学習方法が請求項１である。
【００２１】
式６０１はどのｎに付いても成立するので、学習用データの入力順序の一部分が式６０１を満たす場合も、学習が高速化することが期待できる。学習用データの入力順序の一部分が式６０１を満たすように決定する高速学習方法が請求項１１である。
【００２２】
式１０３を見ると、早い順番の学習用データには学習率ｇおよび（１−ｇ）が多くの回数かけ算されているため、１回の学習が終了した時点では、早い順番の学習用データより遅い順番の学習用データの方が学習結果に強く影響することがわかる。従って、学習用データの入力順序の一部分が式６０１を満たす場合、後ろ部分が式６０１を満たす場合に学習を高速化する効果が大きいことが期待できる。学習用データの入力順序の後ろ部分が式６０１を満たすように決定する高速学習方法が請求項１２である。
【００２３】
自己組織化ネットワークの結合加重の初期値と学習用データの関係を式の変形によって明らかにする。式３０３の右辺の絶対値の中が正または０の場合、式１０１と式４０１から式７０４を得る。式３０３の右辺の絶対値の中が負の場合、式１０１と式５０１から式７０７を得る。式７０４および式７０７は、ｎ−１の学習がｎの学習によって打ち消されないためには、結合加重の初期値が学習用データの最大値以上か、最小値以下のいずれかであることを示している。
【００２４】
自己組織化ネットワークの結合加重の初期値が全て式７０４または式７０７を満たすように決定する高速学習方法が請求項２である。結合加重の初期値が全て式７０４を満たすように決定する高速学習方法が請求項５である。結合加重の初期値が全て式７０７を満たすように決定する高速学習方法が請求項６である。
【００２５】
結合加重は出力ノードごと、次元ごとにつけられているので、初期値の一部が条件を満たす場合も、学習が高速化することが期待できる。結合加重の初期値の一部が式７０４または式７０７を満たすように決定する高速学習方法が請求項１３である。
【００２６】
学習用データの入力順序が式６０１を満たすように決定するには多くの計算が必要となるため、条件は厳しくなるが比較的簡単に入力順序を決定する方法を検討する。式８０１から、ｎ−１の学習用データは式６０１に示すｎの学習用データが満たすべき範囲の内部にあることがわかる。
【００２７】
そこで、式６０１を満たした上で、新たにｎ−１の学習用データとｎの学習用データに一定の大小関係を保持するという条件を付け加えた場合を考えた。式８０３に示すとおり、学習用データが昇順もしくは降順に並んでいる場合も式３０１の条件を満たしている。
【００２８】
学習用データの入力順序が常に式８０３を満たすように決定する高速学習方法が請求項３および請求項４である。
【００２９】
本発明は、以上のような方法に基づいて高速化を行う自己組織化ネットワークの高速学習方法である。
【発明の効果】
【００３０】
この発明によれば、自己組織化ネットワークの学習アルゴリズムに変更を加えることなく、学習速度の高速化を行うことが可能となった。学習アルゴリズムの改良による高速化と同時に利用することができるため、さらに大きな効果を得ることが期待される。
【００３１】
学習用データの一部に対して処理を行うことによって処理量を減らすことができ、その場合でも高速化が可能となった。
【００３２】
学習用データを昇順あるいは降順にするという簡単な処理で高速化の効果を得ることができた。
【００３３】
結合加重の初期値を調整するという簡単な処理で高速化の効果を得ることができた。
【発明を実施するための最良の形態】
【００３４】
計算機を用いて自己組織化ネットワークのプログラムを作成して実験を行い、この発明の効果を実証した。実験に用いた自己組織化ネットワークの概念図を図１１と図１２に示す。
【００３５】
実験では、１００個の出力ノードを１０×１０の２次元に配置し、入力ノードをデータの次元数と同数の５個とし、全ての結合加重を乱数によって初期化した自己組織化ネットワークに対して学習を行った。学習用データは、５次元空間上に５個の中心点を与え、各中心点の周りに正規分布する１０個の合計５０個を乱数により合成した。Ａ）近傍の大きさの初期値７×７で学習率の初期値０．７の場合、Ｂ）近傍の大きさの初期値５×５で学習率の初期値０．５の場合について、学習用データを１）ランダムな順番、２）全データ数の１０％にあたる５個に対して距離の近いものを遅い順番に並べ残りのランダムな順番のデータの後に配置した順番、３）全データ同士の距離を計算し距離の近いものを遅い順番に並べた順番に対して、各１０回実験しその平均学習回数を測定した。終了判定は、学習用データとの距離が最も遠い勝利ノードの距離が閾値以下になった時とした。
【００３６】
実験の結果、Ａ１が１０２７回、Ａ２が９４４回、Ａ３が９５１回、Ｂ１が６０３回、Ｂ２が５２８回、Ｂ３が５７１回であった。これらの結果は、この発明によって約６％から約１４％学習時間が高速化されたことを示している。
【図面の簡単な説明】
【００３７】
【図１】結合加重の変化を示す式である。
【図２】既存の学習結果と学習用データの近さを示す式である。
【図３】新規の学習結果と学習用データの近さを示す式である。
【図４】新規の近さを示す式の変形である。
【図５】新規の近さを示す式の変形である。
【図６】新規の近さを示す式の結果である。
【図７】学習用データと結合加重の初期値の関係を示す式である。
【図８】学習用データを昇順または降順にした場合の関係を示す式である。
【図１１】実験に用いた自己組織化ネットワークの出力ノードと入力ノードの関係の概念図である。
【図１２】実験に用いた１０×１０の２次元出力マップ、勝利ノード、５×５近傍の概念図である。
【図１】
2005284128.tif 000003
【図２】
2005284128.tif 000004
【図３】
2005284128.tif 000005
【図４】
2005284128.tif 000006
【図５】
2005284128.tif 000007
【図６】
2005284128.tif 000008
【図７】
2005284128.tif 000009
【図８】
2005284128.tif 000010
【図１１】
2005284128.tif 000011
【図１２】
2005284128.tif 000012
【手続補正書】
【提出日】平成16年4月20日(2004.4.20)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
【図１】結合加重の変化を示す式である。
【図２】既存の学習結果と学習用データの近さを示す式である。
【図３】新規の学習結果と学習用データの近さを示す式である。
【図４】新規の近さを示す式の変形である。
【図５】新規の近さを示す式の変形である。
【図６】新規の近さを示す式の結果である。
【図７】学習用データと結合加重の初期値の関係を示す式である。
【図８】学習用データを昇順または降順にした場合の関係を示す式である。
【図９】実験に用いた自己組織化ネットワークの出力ノードと入力ノードの関係の概念図である。
【図１０】実験に用いた１０×１０の２次元出力マップ、勝利ノード、５×５近傍の概念図である。
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2005284128.tif 000013
【図２】
2005284128.tif 000014
【図３】
2005284128.tif 000015
【図４】
2005284128.tif 000016
【図５】
2005284128.tif 000017
【図６】
2005284128.tif 000018
【図７】
2005284128.tif 000019
【図８】
2005284128.tif 000020
【図９】
2005284128.tif 000021
【図１０】
2005284128.tif 000022