(57)【要約】【課題】少ないトレーニングデータセットによる短時間での学習によって大域的最適解に到達することが可能であるニューラルネットワーク装置を提供する。【解決手段】ニューラルネットワークによって生成された出力データと教師データの出力データとの誤差を用いて重み係数を更新し、かかる誤差が小さくなってきた場合に学習を終了するだけではなく、入力データと入力層及び隠れ層の重み係数との相関係数に基づいて学習の収束を判断しているので、重み係数の更新が行き詰るだけで学習の収束状態と判断せずに、入力データと入力層及び隠れ層の重み係数との相関係数も用いて学習の収束を判断しており、局所解で学習が終了することなく、大域的最適解を導出して学習を終了させることができる。【選択図】図１
2007096954.tif 000002
【特許請求の範囲】
【請求項１】
ノードを有する入力層、隠れ層及び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置であって、
入力データと入力層及び隠れ層のノード間の重み係数との相関係数に基づいて前記学習の収束を判断する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置。
【請求項２】
ノードを有する入力層、隠れ層及び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置であって、
前記学習の比較結果の誤差に基づいて学習の収束を判断する第１の学習収束判断部と、
入力データと入力層及び隠れ層のノード間の重み係数との相関係数に基づいて前記学習の収束を判断する第２の学習収束判断部とを新たに備え、
第１の学習収束判断部と第２の学習収束判断部が共に学習が収束していると判断している場合に学習を終了する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置。
【請求項３】
ノードを有する入力層、隠れ層及び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置であって、
前記学習の比較結果の誤差に基づいて学習の収束を判断する第１の学習収束判断部と、
入力データと入力層及び隠れ層のノード間の重み係数との相関係数に基づいて前記学習の収束を判断する第２の学習収束判断部とを新たに備え、
第１の学習収束判断部が学習が収束したと判断した後に、第２の学習収束判断部が学習の収束を判断し、
第２の学習収束判断部が学習が収束したと判断した場合に、学習を終了する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置。
【請求項４】
第２の学習収束判断部は、当該相関関数が所定閾値以上である場合に学習が収束したと判断する
前記請求項２または３に記載の誤差逆伝播学習に基づく階層的ニューラルネットワーク装置。
【請求項５】
第２の学習収束判断部は、相関係数が増大傾向が飽和に達する学習収束条件に該当する場合に学習が収束したと判断する
前記請求項２または３に記載の誤差逆伝播学習に基づく階層的ニューラルネットワーク装置。
【請求項６】
第２の学習収束判断部は、前記学習収束条件に該当しない場合、重み係数を初期化して改めて学習し直す
前記請求項４または５に記載の誤差逆伝播学習に基づく階層的ニューラルネットワーク。
【請求項７】
前記重み係数を初期化する場合には、初期化した重み係数と初期化する前の重み係数の相関係数を求め、この相関係数が所定閾値以上である場合には再度重み係数を初期化する
前記請求項６に記載の誤差逆伝播学習に基づく階層的ニューラルネットワーク。
【請求項８】
入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する階層的ニューラルネットワーク装置の誤差逆伝播学習方法であって、
入力データと入力層及び隠れ層のノード間の重み係数との相関係数に基づいて前記学習の収束を判断する階層的ニューラルネットワーク装置の誤差逆伝播学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、脳の仕組みをまねて作成された情報処理機構を実現したニューラルネットワーク装置に関し、特に、入力層と隠れ層との間の重み係数の局所解ではなく大局解を効率的に求めることができるニューラルネットワーク装置に関する。
【背景技術】
【０００２】
ニューラルネットワークとは、人間の脳の仕組みをまねた情報処理機構である。人間の脳はコンピュータでは実現が困難な処理でさえ容易に達成する優れた能力を持っている。現在、私たちが使っているコンピュータはノイマン型と呼ばれ、演算速度が非常に速く、定式化された問題などを解く場合には抜群の威力を発揮するが、人間が普段行っているパターン認識などの問題を解く場合、問題の定式化が難しく、実装するのが非常に困難となる。そこで、人間の脳内の情報処理機構をヒントにして、人間の基本機能である認識や記憶、判断といった処理をコンピュータ上で実現させるため、ニューラルネットワークが誕生した。ニューラルネットワークは脳内の情報処理機構を単純化した構造を持っている。人間の脳内には約１４０億個もの神経細胞が存在しており、それら神経細胞は互いに結び付いている。各神経細胞は他の細胞から入力信号を受け、その入力信号の和がある値を超えた場合に他の細胞へ出力信号を送り出すという働きを持っている。この細胞間の情報の伝播が、人間が普段行っている認識や記憶、判断といった処理を可能としている。脳内の情報処理の最大の特徴は、単純な機能しか持たない細胞が多数集まることにより、全体として複雑で高度な処理を実現しているという点にあり、ニューラルネットワークはこの利点を生かした仕組みとなっている。具体的には、脳内の神経細胞を「ニューロン」と呼ばれる素子としてモデル化し、多数のニューロンを配置・結合することによりネットワークを構築する。実際に応用する場合は、適用する問題に合わせて、各ニューロンのパラメータを変化（学習）させることで、種々の問題に対応することができる。【０００３】
図１０（ａ）はニューロンの模式図である。細胞体(soma)は核などが含まれている部分で、ニューロンの本体といえる部分であり、樹状突起(dendrite)は細胞体から出ている多数の枝のような部分で、ニューロンの入力端子にあたるところであり、軸索(axon)は細胞体から伸びだし、ニューロンの出力端子にあたる部分であり、シナプス(synapse)は枝の末端にある小さい太い足で他のニューロンに接しており、ニューロンどうしをつなぎ、情報を伝達する役割をする。【０００４】
モデル化すると、図１０（ｂ）に示すようになり、式で示せば次のとおりとなる。【０００５】
【数１】
2007096954.tif 000003
【０００６】
それをさらに多数組み合わせることによって複雑な計算が可能になる。三層の階層形ニューラルネットワーク（任意の写像が実現可能）を図１０（ｃ）に示す。
ニューラルネットワークの学習は図１０（ｄ）に示すように行われる。
図１１（ａ）はエラー（誤差）を示す。【０００７】
【数２】
2007096954.tif 000004
新しい重みは、次式となる。【０００８】
【数３】
2007096954.tif 000005
このようにすると極小値になる。【０００９】
【数４】
2007096954.tif 000006
【００１０】
【数５】
2007096954.tif 000007
【００１１】
【数６】
2007096954.tif 000008
【００１２】
【数７】
2007096954.tif 000009
【００１３】
これらの式を満たすように変化させると、時刻ｔに対して誤差Ｅは非増加である。
多くの学習データ（入力と望ましい出力の組）を例示することによってニューラルネットワークの重みを決定する方法がある。最も多用されているのは誤差逆伝播と呼ばれる、最急降下法に基づく学習方法である。
図１１（ｂ）（ｃ）は誤差逆伝播の構造説明図である。
出力層層のj番目のユニットへの総入力は、【００１４】
【数８】
2007096954.tif 000010
【００１５】
【数９】
2007096954.tif 000011
【００１６】
【数１０】
2007096954.tif 000012
であり、誤差(エラー)Ｅが小さくなるようにｗを決める。【００１７】
【数１１】
2007096954.tif 000013
に従うように重みｗを変化させつづければよい。【００１８】
【数１２】
2007096954.tif 000014
を求める。
図１１（ｄ）参照。【００１９】
【数１３】
2007096954.tif 000015
ここで（３）より【００２０】
【数１４】
2007096954.tif 000016
これを、【００２１】
【数１５】
2007096954.tif 000017
で微分すると、【００２２】
【数１６】
2007096954.tif 000018
だけが残る。【００２３】
【数１７】
2007096954.tif 000019
よって（１３）は、【００２４】
【数１８】
2007096954.tif 000020
【００２５】
【数１９】
2007096954.tif 000021
を求める。
図１１（ｅ）参照。【００２６】
【数２０】
2007096954.tif 000022
【００２７】
まず、
【数２１】
2007096954.tif 000023
【００２８】
次に、
【数２２】
2007096954.tif 000024
【００２９】
【数２３】
2007096954.tif 000025
【００３０】
以上の計算を出力側から入力側へ逆向きに、
【数２４】
2007096954.tif 000026
を伝搬しながら傾き【００３１】
【数２５】
2007096954.tif 000027
【００３２】
の計算が進む。これを誤差逆伝播学習という。
ニューラルネットワークの特徴を挙げると以下のようになる。
（１）  学習能力…提示される入出力サンプルに基づいて必要な機能を自動形成することができる。
（２）  非線形性…学習により、定式化が困難な複雑な写像関係でさえ容易に構築することができる。
（３）  並列処理…入力された信号は結合を通して様々なニューロンへと送られ、並列的に処理される。
【発明の開示】
【発明が解決しようとする課題】
【００３３】
誤差逆伝播学習に基づく階層型ニューラルネットワークでは、最急降下法に基づく最適化学習を行うため、大域的最適解を保証するものではなく局所解に陥る危険性がある。大域的最適解に到達するための学習方法としてシミュレーテッドアニ−リングがあるが、学習に時間を要することもさることながら、入力データセットと望ましい出力データセット(これらをトレーニングデータセットと呼ぶ)を大量に用意する必要があり現実的ではないという課題を有する。【００３４】
本発明は前記課題を解決するためになされたものであり、少ないトレーニングデータセットによる短時間での学習によって大域的最適解に到達することが可能であるニューラルネットワーク装置を提供することを目的とする。
【課題を解決するための手段】
【００３５】
発明者のニューラルネットワークへの鋭意的研究の結果、入力データは、学習の進行に伴って入力層と隠れ層を結合している重み係数に相関が高くなることが判明した。隠れ層のノード数にも依存するが、仮に、入力層と重み係数の数が同じである場合(隠れ層のノードを１つとすると、すべての入力層のノードがこの一つの隠れ層のノードに結合され、重み係数の数は入力層のノード数に一致)、入力と望ましい出力を与えて学習が進行したときの重み係数との間には相関、【００３６】
【数２６】
2007096954.tif 000028
【００３７】
が高くなる。隠れ層の数が大きくなった場合も同様に、間引くことにより、または、平均化操作を施して入力層の数に合わせると、式の相関係数が計算でき、学習の進行状況を調べることができる。ただし、相関係数の求め方は上式に限らず、相関の程度に数値化できる式であれば用いることができる。【００３８】
本発明は、最急降下法に基づく誤差逆伝播学習を伴う階層型ニューラルネットワークを基本とし、入力データと入力層と隠れ層との間の重み係数との相関係数を調べることにより、学習の進行状況を調べ、局所解に陥っているか、それとも、大域的最適解に近い準最適解であるのかを判定するものである。また、仮に、誤差逆伝播学習が収束したとしても相関係数が低い場合、すなわち、局所解に陥っているような場合であれば、初期値を変えて学習をやり直すという学習法およびそれを用いたニューラルネットワーク装置も含まれる。【００３９】
（１）  本発明に係るニューラルネットワーク装置は、ノードを有する入力層、隠れ層及び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置であって、入力データと入力層及び隠れ層のノード間の重み係数との相関係数に基づいて前記学習の収束を判断するものである。【００４０】
このように本発明によれば、ニューラルネットワークによって生成された出力データと教師データの出力データとの誤差を用いて重み係数を更新し、かかる誤差が小さくなってきた場合に学習を終了するだけではなく、入力データと入力層及び隠れ層の重み係数との相関係数に基づいて学習の収束を判断しているので、重み係数の更新が行き詰るだけで学習の収束状態と判断せずに、入力データと入力層及び隠れ層の重み係数との相関係数も用いて学習の収束を判断しており、局所解で学習が終了することなく、大域的最適解を導出して学習を終了させることができるという効果を奏する。【００４１】
（２）  また、本発明に係るニューラルネットワーク装置は、ノードを有する入力層、隠れ層及び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置であって、前記学習の比較結果の誤差に基づいて学習の収束を判断する第１の学習収束判断部と、入力データと入力層及び隠れ層のノード間の重み係数との相関係数に基づいて前記学習の収束を判断する第２の学習収束判断部とを新たに備え、第１の学習収束判断部と第２の学習収束判断部が共に学習が収束していると判断している場合に学習を終了するものである。
第１の学習収束判断部は、より具体的には、今まで求めてきた比較結果の誤差の変動をみており、この変動が略なくなった場合に学習が収束したと判断する。【００４２】
（３）  また、本発明に係るニューラルネットワーク装置は、ノードを有する入力層、隠れ層及び出力層からなり、入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する誤差逆伝播学習に基づく階層的ニューラルネットワーク装置であって、前記学習の比較結果の誤差に基づいて学習の収束を判断する第１の学習収束判断部と、入力データと入力層及び隠れ層のノード間の重み係数との相関係数に基づいて前記学習の収束を判断する第２の学習収束判断部とを新たに備え、第１の学習収束判断部が学習が収束したと判断した後に、第２の学習収束判断部が学習の収束を判断し、第２の学習収束判断部が学習が収束したと判断した場合に、学習を終了するものである。【００４３】
このように本発明によれば、まずもってニューラルネットワークの生成した出力データと教師データの出力データとの誤差から学習の収束を判断しており、このニューラルネットワークの生成した出力データと教師データの出力データとの誤差は誤差逆伝播学習をする上では重み係数の反映のために必須のものであり、入力データと入力層及び隠れ層の重み係数との相関係数から学習収束を判断する前に、既に求まっている誤差を用いて誤差による学習収束の判断を実施することが効率がよいという効果を有する。【００４４】
（４）  また、本発明に係るニュールネットワーク装置は必要に応じて、第２の学習収束判断部は、当該相関関数が所定閾値以上である場合に学習が収束したと判断するものである。
（５）  また、本発明に係るニューラルネットワーク装置は必要に応じて、第２の学習収束判断部は、相関係数が増大傾向が飽和に達する学習収束条件に該当する場合に学習が収束したと判断するものである。
（６）  また、本発明に係るニューラルネットワーク装置は必要に応じて、第２の学習収束判断部は、前記学習収束条件に該当しない場合、重み係数を初期化して改めて学習し直すものである。【００４５】
このように本発明によれば、ニューラルネットワークの生成した出力データと教師データの出力データとの誤差から学習が収束したと判断した場合で、且つ、入力データと入力層及び隠れ層の重み係数との相関係数から学習が収束していないと判断した場合には、大域的最適解が求まらず局所解に陥っていることとなり、再度重み係数を初期化して誤差逆伝播学習をすることで大域的最適解を求めることができるという効果を有する。局所解に陥っている状態で何度学習しても局所解を脱して大域的最適解に達することは困難であるために、重み係数を初期化することが望ましい。【００４６】
（７）  また、本発明に係るニューラルネットワーク装置は必要に応じて、前記重み係数を初期化する場合には、初期化した重み係数と初期化する前の重み係数の相関係数を求め、この相関係数が所定閾値以上である場合には再度重み係数を初期化するものである。
このように本発明によれば、重み係数を初期化した場合であっても依然の重み係数と同様であれば誤差逆伝播の学習を再度行った場合に同様の局所解に陥る可能性が高く、その場合に、再度初期化することで無駄な学習を回避し、効率的に大域的最適解を求めることができるという効果を有する。【００４７】
（８）  また、本発明に係る階層的ニューラルネットワーク装置の誤差逆伝播学習方法は、入力データを入力層に入力して出力層から出力された出力データと入力データに対応する予め用意された教師データとを比較し、比較結果となる誤差を用いて出力層及び隠れ層のノード間の重み係数と隠れ層及び入力層のノード間の重み係数を更新することで学習する階層的ニューラルネットワーク装置の誤差逆伝播学習方法であって、入力データと入力層及び隠れ層のノード間の重み係数との相関係数に基づいて前記学習の収束を判断するものである。
このように本発明は、方法としても把握することができる。
これら前記の発明の概要は、本発明に必須となる特徴を列挙したものではなく、これら複数の特徴のサブコンビネーションも発明となり得る。
【図面の簡単な説明】
【００４８】
【図１】本発明の第１の実施形態に係るニューラルネットワーク装置のブロック構成図である。
【図２】本発明の第１の実施形態に係るニューラルネットワーク装置を構築されているコンピュータのハードウェア構成図である。
【図３】本発明の第１の実施形態に係るニューラルネットワーク装置の学習時の動作フローチャートである。
【図４】本発明の第１の実施形態に係るニューラルネットワーク装置の初期化に関する部分代替フローチャートである。
【図５】実施例に係る２００２年５月２０日１７時１１分の観測画像及び実測値である。
【図６】実施例に係る２００４年１１月３０日１６時４５分の観測画像及び実測値である。
【図７】図６の入力及び望ましい出力に対する解の推移である。
【図８】図５の入力及び望ましい出力に対する解の推移である。
【図９】図５の入力及び望ましい出力に対する解の推移である。
【図１０】背景技術のニューラルネットワークの説明図である。
【図１１】背景技術のニューラルネットワークの説明図である。
【符号の説明】
【００４９】
１０  入力部
２０  ニューラルネットワーク機構部
３０  出力部
４０  誤差逆伝播機構
４１  誤差算出部
４２  重み係数反映部
４３  誤差収束判定部
５０  相関係数機構
５１  相関係数算出部
５２  相関係数条件判定部
５３  初期化部
１００    コンピュータ
１１１    ＣＰＵ
１１２    ＲＡＭ
１１３    ＲＯＭ
１１４    フラッシュメモリ
１１５    ＨＤ
１１６    ＬＡＮカード
１１７    マウス
１１８    キーボード
１１９    ビデオカード
１１９ａ    ディスプレイ
１２０    サウンドカード
１２０ａ  スピーカ
１２１    ドライブ
【発明を実施するための最良の形態】
【００５０】
（本発明の第１の実施形態）
（１）ブロック構成
図１は本実施形態に係るニューラルネットワーク装置のブロック構成図である。
本実施形態に係るニューラルネットワーク装置は、処理対象の入力データを取り込む入力部１０と、取り込んだ入力データを処理して出力データを生成するニューラルネットワーク機構部２０と、生成した出力データを送り出す出力部３０と、学習時にニューラルネットワーク機構部２０により生成された出力データと教師データの出力データから誤差を求め、求めた誤差から誤差が収束しているか否かを判断し、収束していないと判断した場合には誤差逆伝播を行い重み係数を更新する誤差逆伝播機構４０と、学習時に入力データと入力層と隠れ層との隠れ係数との相関係数を求め、前記誤差逆伝播機構４０が収束していると判断した場合に、直近の相関係数が所定閾値と比べて低いか否か、及び、相関係数が増大傾向であって飽和に達するか否かを判断し、直近の相関係数が所定閾値と比べて低い場合、相関係数が増大傾向ではない場合、または、相関係数が増大傾向でも飽和に達しない場合、ニューラルネットワーク機構部２０を初期化する相関係数機構５０とを備える構成である。【００５１】
誤差逆伝播機構４０は、学習時に入力データの入力毎に出力データと教師データの出力データの誤差を求める誤差算出部４１と、この誤差算出部４１で求めた誤差を用いてニューラルネットワーク機構部２０の重み係数を更新する重み係数反映部４２と、誤差算出部４１が求めた誤差の変動から収束しているか否かを判断する誤差収束判定部４３とからなる。誤差収束判定部４３が収束しないと判断した場合にだけ重み係数反映部４２が重み係数の反映を行う構成にすることもできるし、誤差収束判定部４３に依らず誤差算出部４１で誤差が求められた場合には重み係数反映部４２が重み係数を反映する構成にすることもできる。後者の構成を採った場合にも、誤差収束判定部４３が収束すると判断した場合で且つ、大域的最適解が求まっていれば以降誤差算出部４１及び重み係数反映部４２での処理は行われない。【００５２】
相関係数機構５０は、学習時に入力データの入力毎に入力データと入力層と隠れ層の重み係数との相関係数を求める相関係数算出部５１と、直近の相関係数が所定閾値と比べて低いか否か、及び、相関係数が増大傾向であって飽和に達するか否かを判断する相関係数条件判定部５２と、この相関係数条件判定部５２が直近の相関係数が所定閾値と比べて低いと判断した場合、相関係数が増大傾向ではないと判断した場合、または、相関係数が増大傾向でも飽和に達しないと判断した場合にニューラルネットワーク機構部２０を初期化する初期化部５３とからなる。【００５３】
（２）ハードウェア構成
図２は本実施形態に係るニューラルネットワーク装置を構築されているコンピュータのハードウェア構成図である。
ニューラルネットワークが構築されているコンピュータ１００は、ＣＰＵ(Central Processing Unit)１１１、ＲＡＭ(Random Access Memory)１１２、ＲＯＭ(Read Only Memory)１１３、フラッシュメモリ(Flash memory)１１４、外部記憶装置であるＨＤ(Hard disk)１１５、ＬＡＮ(Local Area Network)カード１１６、マウス１１７、キーボード１１８、ビデオカード１１９、このビデオカード１１９と電気的に接続する表示装置であるディスプレイ１１９ａ、サウンドカード１２０、このサウンドカード１２０と電気的に接続する音出力装置であるスピーカ１２０ａ及びフレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の記憶媒体を読み書きするドライブ１２１からなる。なお、所謂当業者であれば、若干のハードウェアの構成要素の変更をすることができ、また、複数コンピュータに対して一つのニューラルネットワークを構築することができる。コンピュータ毎に全てではなく一部の一又は複数のモジュールを構築して負荷分散を図ることができる。勿論、グリッドコンピュータシステム上にニューラルネットワークを構築することもできる。【００５４】
（３）動作
図３は本実施形態に係るニューラルネットワーク装置の学習時の動作フローチャートである。
入力部１０が入力データ及び出力データからなる教師データを取り込み、取り込んだ入力データがニューラルネットワーク機構２０で処理され、出力部１０が生成された出力データを出力する。誤差算出部４１は出力データと教師データの出力データとから誤差を算出する（ステップ２０１）。重み係数反映部４２は算出した誤差を用いてニューラルネットワークの重み係数を更新する（ステップ２０２）。相関係数算出部５１は入力層と隠れ層の重み係数と入力データとから相関係数を算出する（ステップ２１１）。誤差収束判定部４３は誤差算出部４１が求めてきた誤差を用いて誤差が収束しているか否かを判断する（ステップ２２１）。ステップ２２１において収束していないと判断した場合にはステップ１００に戻る。ステップ２２１において収束していると判断した場合には、相関係数条件判定部５２は相関係数算出部５１が求めてきた相関係数を用いて直近の相関係数が所定閾値と比べて低いか否かを判断する（ステップ２３１）。ステップ２３１において直近の相関係数が低いと判断した場合には、相関係数が増大傾向であって飽和に達するか否かを判断する（ステップ２３２）。ステップ２３１において相関係数が低くないと判断した場合、又は、ステップ２３２において相関係数が増大傾向であって飽和に達すると判断した場合、大域的最適解が求まったとしてニューラルネットワークの学習を終了する。ステップ２３２において相関係数が増大傾向であって飽和に達してはいないと判断した場合には、局所解が求まったとしてニューラルネットワーク機構２０の初期値を再設定し（ステップ２４１）、ステップ１００に戻る。【００５５】
（４）本実施形態の効果
このように本実施形態に係るニューラルネットワーク装置によれば、ニューラルネットワークによって生成された出力データと教師データの出力データの誤差を求めて誤差逆伝播させて重み係数を更新させ、求めた誤差を蓄積して誤差の変動から誤差の収束を判断し、誤差が収束している場合に継続して求めてきた相関係数の変動が所定条件を満たすか否かを判断し、ここで所定条件とは相関係数が所定閾値より小さくない、及び、相関係数が増加傾向であって飽和に達していることであり、この条件を満たす場合には大域的最適解が求まったとして学習を終了し、一方、条件を満たさない場合には局所解が求まったとしてニューラルネットワークを初期化して再度学習するので、最急降下法を適用して迅速に学習をさせることができ、また、この最急降下法で学習終了とされたニューラルネットワークが実際に大域的最適解が求まっているか否かを判断しており、学習終了時に局所解ではなく大域的最適解が求まった状態にすることができる。【００５６】
（その他の実施形態）
［誤差による判断と相関係数による判断］
前記第１の実施形態に係るニューラルネットワーク装置においては、出力データと教師データの出力データとの誤差の変動をまず判断し、その後に、相関係数の判断を実行しているが、相関係数の判断をまず実行した後に誤差の変動を判断することもできる。ただし、出力データと教師データの出力データとの誤差は、誤差逆伝播学習においては学習のために必ず導出する必要がある値であるために誤差の変動をまずもって判断する方が望ましい。また、出力データと教師データの出力データとの誤差の変動から学習が収束したと判断した場合には少なくとも局所解は求まっており、一方、相関係数から学習が収束したと判断した場合には局所解すら求まっていない可能性もあり、まずもって出力データと教師データの出力データとの誤差の変動から学習の収束を判断する方が望ましい。【００５７】
［重み係数の初期化］
前記第１の実施形態に係るニューラルネットワーク装置においては、例えば、初期化を乱数により実施するのであるが、この乱数による初期化が初期化前の重み係数と略同様となる可能性もあり、初期化後も略同じ重み係数となった場合には再度同じ局所解に陥る可能性が高く、無駄な学習を実施するのを未然に防止すべく、初期化した後の重み係数と初期化前の重み係数の相関係数が所定閾値以上であれば再度初期化する構成にすることもできる。【００５８】
例えば、ステップ２４１に代えて図４に示すように、現在の重み係数を記録し（ステップ２４１１）、重み係数を初期化し（ステップ２４１２）、記録した初期化前の重み係数と初期化後の重み係数の相関係数を求め（ステップ２４１３）、この相関係数が所定閾値以上か否かを判断し（ステップ２４１４）、所定閾値以上であると判断した場合にはステップ２４１１に戻り、所定閾値より小さいと判断した場合にはステップ１００に戻る。
【実施例】
【００５９】
海洋・大気観測衛星NOAA/AVHRR(高空間分解能可視熱赤外放射計)データを用いた海面温度(SST)推定に階層型ニューラルネットワークを用いた。図５または図６は、NOAA/AVHRRバンド4,5の熱赤外画像とMCSST(複数チャンネル海面温度)と呼ばれる方法によって推定された海面温度である。図５（ａ）または図６（ａ）がバンド４の熱赤外画像であり、図５
（ｂ）または図６（ｂ）がバンド５の熱赤外画像であり、図５（ｃ）または図６（ｃ）がMCSSTによる推定実測値である。図５が２００２年５月２０日１７時１１分のものであり、図６が２００４年１１月３０日１６時４５分のものである。【００６０】
図５（ａ）（ｂ）または図６（ａ）（ｂ）を入力データとして、また、図５（ｃ）または図６（ｃ）を望ましい出力と見立てて階層型ニューラルネットワークの誤差逆伝播学習を行った。このとき、望ましい出力と階層型ニューラルネットワークの実際の出力との差の平均を平均誤差として評価した。また、重み係数の初期値は一様乱数によって与えることにした。【００６１】
学習の経過の一例を図７ないし図９にそれぞれ示す。図７は図６の入力及び望ましい出力に対する解の推移であり、図８または図９は図５に対する場合である。図７及び図８は宮崎県沖の画像領域に関するものであり、図９は小倉沖の画像領域に関するものである。【００６２】
図７（ａ）は相関係数が増加傾向に転じることなく低い部分で収束していることを示し、図７（ｂ）は誤差が学習回数を経るごとに小さくなっておりその減少傾向も収束の方向に向かっていることを示す。したがって、図７から局所解に陥っていることが分かる。【００６３】
図８（ａ）は相関係数が増加傾向を経て収束しようとしていることを示し、図８（ｂ）は誤差が学習回数を経るごとに小さくなっておりその減少傾向も収束の方向に向かっていることを示す。したがって、図８から大域的最適解が求まっていることが分かる。【００６４】
図９（ａ）は相関係数が増加傾向を維持していることを示し、図９（ｂ）は誤差が学習回数を経るごとに小さくなっておりその減少傾向も収束の方向に向かっていることを示す。したがって、図９から大域的最適解が求まっていることが分かる。【００６５】
これらを見ると、いずれも入力と入力層と隠れ層の間の重み係数との相関係数が高くなり、平均誤差が少なくなる傾向が見られる。すなわち、相関係数が学習収束の指標として用いることができることを表している。【００６６】
以上の前記各実施形態により本発明を説明したが、本発明の技術的範囲は実施形態に記載の範囲には限定されず、これら各実施形態に多様な変更又は改良を加えることが可能である。そして、かような変更又は改良を加えた実施の形態も本発明の技術的範囲に含まれる。このことは、特許請求の範囲及び課題を解決する手段からも明らかなことである。
【図１】
2007096954.tif 000029
【図２】
2007096954.tif 000030
【図３】
2007096954.tif 000031
【図４】
2007096954.tif 000032
【図５】
2007096954.tif 000033
【図６】
2007096954.tif 000034
【図７】
2007096954.tif 000035
【図８】
2007096954.tif 000036
【図９】
2007096954.tif 000037
【図１０】
2007096954.tif 000038
【図１１】
2007096954.tif 000039
【国際調査報告】
2007096954.tif 000040
2007096954.tif 000041
2007096954.tif 000042