(57)【要約】  本発明は所定数の入力ノードを有する入力層と、所定数の出力ノードを有する出力層を備え、前記入力層と前記出力層の間に少なくとも１つの或いは複数のノードの層、すなわちいわゆる隠れ層からなる人工ニューラルネットワークに関する。出力層及び／又は隠れ層及び／又は入力層のノードにおいて入力データが非線形変換されて出力値が演算され、出力値は次に続く層の入力値となる。次の層が出力層の場合は、出力データとなる。
2007505379.tif 000002
【特許請求の範囲】
【請求項１】
第１の層であるいわゆる入力層と、第２の層であるいわゆる出力層からなる少なくとも２つの層を形成する複数のノードを備え、
前記入力層のノードがデータベースの入力データを入力するための入力チャネルを形成し、
前記出力層のノードが前記入力データを演算して得られる出力データを提供するための出力チャネルを形成し、
前記入力層の前記ノードと前記出力層の前記ノードの間に結合が提供され、
前記出力層の前記ノードのそれぞれが前記入力層から受信された前記入力データを前記出力データに変換し、
該変換が、前記入力データに重みを付加して前記入力ノードから前記出力ノードに受信された前記入力データを合計する少なくとも１つの下位段階を備える第１変換段階と、
前記第１変換段階により得られた結果を非線形に変換する第２変換段階を備え、
出力ノードにおいて実行される前記変換により得られる出力データが前記出力データであり、
前記出力ノードのそれぞれにおいて、前記第１変換段階が２つの下位段階を備え、
第１の下位段階が、前記入力ノードから前記出力ノードにより受信された入力データの非線形変換関数であり、
第２の下位段階が、前記第１の下位段階において前記非線形に変換された入力データを合計する段階であることを特徴とする人工ニューラルネットワーク。
【請求項２】
所定数の入力ノードを有する入力層と、
所定数の出力ノードを有する出力層を備え、
前記入力層と前記出力層の間に少なくとも１つの或いは複数のノードの層、すなわちいわゆる隠れ層が更に配され、
前記隠れ層のノードが、前記隠れ層が複数配される場合には前記入力層の前記入力ノード及び他の隠れ層のノードに結合荷重により接続され、前記隠れ層が１つのみ配される場合には前記入力層の前記入力ノード及び前記出力層の前記出力ノードに、結合荷重により接続され、
前記少なくとも１つの隠れ層或いは前記複数の隠れ層のノードのそれぞれ及び前期出力層のノードが、前記入力層から或いはそれ以前の隠れ層からの入力データから出力データへの変換を行い、
該変換が第１変換段階を備え、
該第１変換段階が、２つの連続する下位段階を備え、
第１の下位段階が、前記出力ノード或いは前記隠れ層のうち１つの層の前記ノードにより、前記入力層の前記入力ノード或いは前記前の隠れ層のノードから受信された入力データを非線形に変換する関数を備え、
第２の下位段階が、前記第１段階において重みを付加することにより非線形に変換された前記入力データを合計する段階であり、
前記変換が更に、第１変換段階において得られた結果を非線形に変換する第２変換段階を備え、
前記ノードにおいて実行される前記変換により得られる出力データが、該ノードが前記出力層の前記出力ノードである場合には出力データであり、或いは前記隠れ層のうち１つの層のノードから他の隠れ層のノード或いは前記出力層の前記出力ノードへの入力データであることを特徴とする請求項１記載の人工ニューラルネットワーク。
【請求項３】
前記入力層の前記ノードの入力データが、前記データベースの入力データに含まれ、
前記入力層の前記ノードの出力データが、出力層のノード、前記第１隠れ層のノード、或いは前記少なくとも１つの隠れ層に、これら層のノードの入力データとして提供され、
前記出力層の出力データが前記人工ニューラルネットワークの演算結果に含まれることを特徴とする請求項１記載の人工ニューラルネットワーク。
【請求項４】
ノードにより実行される前記入力データを非線形に変換する第１の変換下位段階が正弦関数を用いて前記入力データを変換する段階を備え、
前記第２の変換下位段階が、前記正弦関数による変換の後、すなわち前記第１の変換下位段階を実行した後に、前記入力データを合計する段階を備えることを特徴とする請求項１乃至３いずれかに記載の人工ニューラルネットワーク。
【請求項５】
前記少なくとも１つの隠れ層及び前記出力層のノードのそれぞれが、異なる入力データのための複数の入力チャネルを備え、
該チャネルが、
前記第１変換段階において非線形変換を行う前記第１の変換下位段階を実行するための受信ユニットと、
前記チャネルそれぞれの前記受信ユニットの出力に結合される入力を備えるとともに、前記チャネルそれぞれの前記非線形に変換された入力データを１つの値に合計することにより、前記第１変換段階の前記第２の変換下位段階を実行する合計ユニットと、
前記合計ユニットの出力に接続される入力を備える非線形変換ユニットを備え、
前記第１変換段階において得られた前記値を非線形フィルタリングして、連続する隠れ層或いは前記出力層の入力値である前記ノードの出力値を算出することにより、該非線形変換ユニットが前記第２変換段階を実行することを特徴とする請求項１乃至４いずれかに記載の人工ニューラルネットワーク。
【請求項６】
前記入力データが入力データ変数空間内の所定数の変数であり、
前記変数のそれぞれが前記入力データ変数空間内の座標により定義され、
第１変換段階において、前記入力データ変数空間内の前記座標のそれぞれが、対応する可変の値に非線形に変換され、
該可変の値が、前記座標の値の空間内の位置により、所定波長の空間波に対して依存する値とされ、
前記可変の値は、前記入力座標値に正弦波の波長を乗じることにより求められ、
求められた値がその後一定値に変換され、
前記入力座標のそれぞれの波長が、学習フェーズにおいて調整されることを特徴とする請求項１乃至５いずれかに記載の人工ニューラルネットワーク。
【請求項７】
前記ノードによる前記入力データの前記変換が下記の数式１により定義され、該第２変換下位段階において、下記の数式２に示す関数にしたがって、非単調に正弦波関数により処理された重みを付加された入力値が合計されることを特徴とする請求項１乃至６いずれかに記載の人工ニューラルネットワーク。
【数１】
2007505379.tif 000034
（ただし、Ｆ（・）は第２変換段階の非線形フィルタリング関数、Ｇ（・）は第１の下位段階の非線形関数と、第２下位段階の非線形関数を組み合わせた関数を示す。）
【数２】
2007505379.tif 000035
【請求項８】
前記ノードのそれぞれが、前記入力データの変換を、関数にしたがって行うことを特徴とする請求項７記載の人工ニューラルネットワーク。
【数３】
2007505379.tif 000036
【請求項９】
前記第２変換段階が、シグモイド関数を用いて行われることを特徴とする請求項１乃至８いずれかに記載の人工ニューラルネットワーク。
【請求項１０】
前記人工ニューラルネットワークが多層型逆伝播式ニューラルネットワークであり、
該ニューラルネットワークが、前向きフェーズ、及び降下法を用いた学習フェーズを備え、
前記前向きフェーズが、
変換された下記数式４で示されるネット入力値Ｉを提供する第１の調和変換段階と、
前記ノードの出力を下記数式５にしたがって決定する第２の非線形変換段階を備え、
前記学習フェーズが、下記数式６に示す降下法により定義され、
該降下法が通常のグローバル誤差関数を備え、
前記ノードの誤差が、数式７及び数式８にしたがってローカルを定義することにより評価され、数式８が導かれ、
2007505379.tif 000037
前記その他の層について数式１０により計算されることを特徴とする請求項１乃至９いずれかに記載の人工ニューラルネットワーク。
【数４】
2007505379.tif 000038
【数５】
2007505379.tif 000039
【数６】
2007505379.tif 000040
【数７】
2007505379.tif 000041
【数８】
2007505379.tif 000042
【数９】
2007505379.tif 000043
【数１０】
2007505379.tif 000044
【請求項１１】
下記数式１１に示す前記前向きフェーズの活性化関数が、下記数式１２に示すシグモイド関数であり、
前記学習フェーズの誤差関数が下記数式１３に示す平均平方誤差関数であり、
前記出力層の重み修正値が下記数式１４で示され、
前記その他の層の重み修正値が下記数式１５で示されることを特徴とする請求項１０記載の人工ニューラルネットワーク。
【数１１】
2007505379.tif 000045
【数１２】
2007505379.tif 000046
【数１３】
2007505379.tif 000047
【数１４】
2007505379.tif 000048
【数１５】
2007505379.tif 000049
【請求項１２】
前記入力層の前記入力ノードが、受信された入力データを変換する第１非線形変換段階及び第２非線形変換段階を実行し、
前記第１非線形変換段階及び前記第２非線形変換段階が、
入力データのための受信チャネルと、
前記第１変換段階の前記第１非線形変換下位段階を実行する前記受信チャネルに接続した受信ユニットと、
前記チャネルそれぞれの非線形に変換された入力データを前記１つの値に合計することにより、前記第１変換段階の前記第２変換下位段階を実行する合計ユニットと、
前記第１変換段階において得られた値をフィルタリングするとともに、前記入力ノードの前記出力値をその他の前記隠れ層或いは前記出力層の入力値として提供することにより、前記第２変換段階を実行する非線形変換ユニットを用いて実行されることを特徴とする請求項１乃至１１いずれかに記載の人工ニューラルネットワーク。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１層であるいわゆる入力層と、第２層であるいわゆる出力層からなる少なくとも２つの層を形成する複数のノードを備え、前記入力層のノードがデータベースの入力データを入力するための入力チャネルを形成し、前記出力層のノードが前記入力データを演算して得られる出力データを提供するための出力チャネルを形成し、前記入力層の前記ノードと前記出力層の前記ノードの間に結合が提供され、前記出力層の前記ノードのそれぞれが前記入力層から受信された前記入力データを前記出力データに変換し、該変換が、前記入力データに重みを付加することにより、前記入力ノードから前記出力ノードに受信された前記入力データを合計する少なくとも１つの下位段階を備える第１変換段階と、前記第１変換段階により得られた結果を非線形に変換する第２段階を備え、出力ノードにおいて実行される前記変換により得られる出力データが前記出力データであることを特徴とする人工ニューラルネットワークに関する。
【背景技術】
【０００２】
人工ニューラルネットワークは、多種の目的に幅広く用いられている。一般的に、人工ニューラルネットワークは予測アルゴリズム分野に属し、予測アルゴリズムは、シチュエーション評価に用いる初期レベルの経験に達するために、データベースのデータを学習可能である。評価対象となるシチュエーションは、様々な方法で得られたデータベースのデータ記録を用いて表現される。こうして人工ニューラルネットワークなどの訓練機能をもつ適合型アルゴリズムは、シチュエーション結果の評価に使用される。シチュエーションは、データ又はデータベースのデータ記録の変数で表現された特徴やコード化された特徴によって定義される。この適合型アルゴリズムのシチュエーション評価結果に基づいて、機械操作において、人間の手を加えなくても、方法又は行動の決定が可能となる。
【０００３】
適合型アルゴリズムは学習を継続する。また、適合型アルゴリズムは、動作時に常時知識を改良することによって、経験を選択及び更新できる。このようにして、最初の学習フェーズで得られた知識に、使用中に得た知識を新たに付加することができる。
【０００４】
適合型アルゴリズムは、人間の知能を働かせたり、手間をかけたりせずに、タスクを自動的に実行する機能を改良するものである。通常、適合型アルゴリズムは、ロボット又はオートメーションに関する高度な知能システムに適用される。これにより高い信頼性を備えた機械の利用が可能となる。また適合型アルゴリズムは、固定的なデータとして定義できないタスクの実行に適用される。尚、固定的なデータとは、技術的、物理的、化学的パラメータ若しくはそれらに基づくデータを示す。
【０００５】
適合型アルゴリズムは、上記のような技術的特性及び効果を発揮するための技術的装置を提供することを目的とする。例えば、アルゴリズムのデータ処理方法と同様の方法でデータを処理するコンピュータは、既知の人間の脳の構造を模倣してより単純化した構造を提供することによって、人間の脳のような処理ができる。
【０００６】
アルゴリズムは、多くの技術的問題を解決するために、若しくは技術的効果を提供するために使用される。例えばイメージ認識又はエッジ検出の手法に関する技術である。
【０００７】
実際に、多くのアーキテクチャにおいて、このような適合型アルゴリズム特に人工ニューラルネットワークが使用されている。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
通常の人工ニューラルネットワークの構造及び原則は、図１及び図３を用いて後述される。
【０００９】
従来のネットワークにおいては、各ノードは、入力ノードから重みが付加された入力データを受信し、その入力データを合計し、その結果を非線形関数により変換する要素として機能する。ノードは入力データ変換を実行可能な関数要素である。データベース及び／又は他のノードにより提供される。ノードは更に変換後の入力データを出力として提供する。出力データは、他のノードに送信されるか又は人工ニューラルネットワークの出力データとなる。
【００１０】
図３は、ノードのメカニズムを詳細に示した図である。従来のネットワークにおいては、入力データの線形変換上で、各ノードが非線形変換を実行する。
【００１１】
【数１】
2007505379.tif 000003
ただし、Ｆ（・）は関数（例えばシグモイド関数）、線形関数Ｌ（・）は入力データの重み付け合計を示す。
【００１２】
【数２】
2007505379.tif 000004
【００１３】
式（１）及び式（２）の結果として下記に示す式（３）が得られる。
【００１４】
【数３】
2007505379.tif 000005
【００１５】
2007505379.tif 000006
【００１６】
更に人工ニューラルネットワークは、少なくとも２つの層即ち入力層及び出力層を備えてもよいことがよく知られている。また入力層と出力層の間に隠れ層が配される。人工ニューラルネットワークは少なくとも１つの隠れ層を備えてもよい。各層における各ノードは、通信チャネルによって、１或いは複数の層（例えば隠れ層又は出力層）の各ノードに結合してもよい。各ノードは入力に対して上記の変換式を実行する。それ以前の層のノードから受信した入力を、出力値に変換し、それに続く層のノードに提供する。出力値は、それ以前の層のノードから受信した入力を上記の変換式により計算したものである。
【００１７】
同一の層或いは異なる層のノードの間を接続したアーキテクチャが、よく知られ、利用されている。本発明は何れの既知のアーキテクチャにも限定されない。ニューラルネットワークの何れの既知のアーキテクチャも、本発明で開示される技術により変更される可能性がある。
【００１８】
人工ニューラルネットワークの重要な目的は、高速収束機能の信頼性及び性能を、高精度で問題を解決できるレベルにまで改良することである。即ち、入力データにより表現されるシチュエーションに高精度評価を行い、高い信頼性を備えた出力データ即ち予測を実現することである。
【００１９】
上記の関数は、複数のパラメータから構成される。関数のパラメータは通常、無作為に選択された初期値に設定されている。アルゴリズムの学習フェーズにおいて、既知の入力データと対応する既知の出力データがアルゴリズムによって提供される。この学習フェーズにおいて、パラメータ（通常、第一変換段階で受信入力データに付加される重み）は修正される。このパラメータの修正は、入力データを学習データセットの記録から得られた対応する出力データに、最適に一致させるためである。
【００２０】
アルゴリズムに学習させる多種の学習関数の組み合わせが知られている。これら学習関数の組み合わせが、アルゴリズムの重要な機能となる。なぜなら学習フェーズがアルゴリズムの計算の信頼性や計算速度といったアルゴリズムの性能に影響を与えるためである。重み付け（結合荷重）は、同一の入力から得られた計算後の出力と既知の出力との差を減少させる手段により、決定される。データの構造によっては誤差を最小化させる際、アルゴリズムは頻繁にローカルミニマを検出する。ローカルミニマに陥ると、最も訓練・学習をしたアルゴリズムと一致する絶対的な最小値を検出することができない。
【００２１】
多種の人工ニューラルネットワークについては、次の文献に詳細に説明されている。Arbib M．A．編著「The Handbook of Brain Theory and Neural Networks，A Bradford Book」（The MIT Press発行，1995年，米国マサチューセッツ州  ケンブリッジ・英国  ロンドン）／Buscema M．＆Semeion Group著「Reti Neurali Artificiali e Sistemi Sociali Complessi Vol．1：Teoria e Modelli，（Franco Angel発行，1999年，イタリア  ミラノ）
【００２２】
特願２００２−３６６９２７の開示技術には、時系列特性の学習が可能なニューラルネットワークが示されている。このニューラルネットワークには入力層と出力層と中間に３つの隠れ層からなる５つの層を備える。入力ベクトルは、入力層のノードに提供される前に、各要素を組み合わせて非線形変換される。隠れ層と出力層の入力においては、前処理段階で非線形変換は実行されない。入力ベクトルの各要素を組み合わせて行われる非線形変換は、ニューラルネットワークの学習関数の最適化の構成は備えていない。また、該非線形変換は、ローカルミニマを回避する効果も備えていない。このことは、隠れ層及び出力層のノットが非線形変換による前処理を施さないことからも明らかである。よって学習処理の最適化も提供されない。
【００２３】
ＥＰ６２１５４９の開示技術には、非線形オペレーションユニット及び非線形オペレーションユニットを用いたデータ処理装置が示されている。非線形オペレーションユニットは、少なくとも一つの入力信号を受信するとともに、非線形関数を用いて入力信号の演算を実行する非線形関数オペレーション手段と、非線形関数オペレーション手段による演算結果の関数値に重みを乗じて積算する積算手段と、積算手段により得られた積算値を合計し閾値を加えて合計値を求める合計手段とから構成される。このオペレーションユニットは、ニューラルネットワークのノットを形成する。ニューラルネットワークのノットは、層内に配されて相互に連結しあう。通常の非線形オペレーションは、入力信号上で実行されて各ノットへと連結する非線形オペレーションである。従来のニューラルネットワーク内の非線形オペレーションは、オペレーションユニットの入力信号を重み付けした値の総和で実行される。線形の合計・重み付け段階シークエンスと非線形変換を入れ替える意味は、積算・合計手段での非線形の動作によって誤差が引き起こされるのを考慮して、それを回避するためである。非線形の動作によって引き起こされる誤差とは、システム上のドリフト（例えば熱オフセット或いはその他のオフセット）による誤差である。上記の非線形動作の誤差の最小化は、従来は第二段階であった非線形変換を第一変換段階として実行するとともに、従来は第一段階であった線形変換を第二変換段階として実行することによって、行われる。従来の線形変換は、入力値の重み付け段階と合計段階からなる。ＥＰ６２１５４９の開示技術によるオペレーションユニットは、従来のニューラルネットワークのオペレーションユニットと比較して、学習動作又はローカルミニマ回避に対する優位な効果を備えていない。ただし、合計手段及び積算手段で実関数を線形変換することによって、計算システム上の或いは一時的に起こる非線形変換ノイズを克服する効果は得られている。
【課題を解決するための手段】
【００２４】
本発明はより信頼性が高く、高速収束性のアルゴリズムを備えることにより人工ニューラルネットワークを改良することを目的とする。これにより最適な解決が提供されるとともに、学習フェーズ中のローカルミニマの問題が回避される。
【００２５】
本発明は冒頭で記載した人工ニューラルネットワークを用いて上記の目的を達成する。本発明の人工ニューラルネットワークは、更に各出力ノードにおいて、第１変換段階が２つの下位段階を備える。第１変形下位段階は、入力ノードから送信され出力ノードで受信された入力データの非線形関数であり、第２変形下位段階は、前記第１変形下位段階において前記非線形に変換された入力データを合計する段階である。
【００２６】
一般的に、人工ニューラルネットワークは、所定数の入力ノードを有する入力層と、所定数の出力ノードを有する出力層を備え、前記入力層と前記出力層の間に少なくとも１つの或いは複数のノードの層、すなわちいわゆる隠れ層が更に配され、前記隠れ層のノードが結合荷重により結合され、前記隠れ層が複数配される場合には前記入力層の前記入力ノード及び他の隠れ層のノードに、前記隠れ層が１つのみ配される場合には前記入力層の前記入力ノード及び前記出力層の前記出力ノードに、結合荷重により結合され、前記少なくとも１つの隠れ層或いは前記複数の隠れ層のノードのそれぞれ及び前期出力層のノードが、前記入力層から或いはそれ以前の隠れ層からの入力データから出力データへの変換を行い、該変換が第１変換段階を備え、該第１変換段階が、２つの連続する下位段階を備え、第１の下位段階が、前記出力ノード或いは前記隠れ層のうち１つの層の前記ノードにより、前記入力層の前記入力ノード或いは前記先行する隠れ層のノードから受信された入力データの非線形変換関数を備え、第２の下位段階が、前記第１段階において重みを付加することにより非線形に変換された前記入力データを合計する段階であり、前記変換が更に、第１変換段階において得られた結果を非線形に変換する第２変換段階を備え、前記ノードにおいて実行される前記変換により得られる出力データが、該ノードが前記出力層の前記出力ノードである場合には出力データであり、或いは前記隠れ層のうち１つの層のノードから他の隠れ層のノード或いは前記出力層の前記出力ノードへの入力データである。
【００２７】
前記入力層の前記ノードの入力データが、前記データベースの入力データに含まれ、前記入力層の前記ノードの出力データが、出力層のノード、前記第１隠れ層のノード、或いは前記少なくとも１つの隠れ層に、これら層のノードの入力データとして提供され、前記出力層の出力データが前記人工ニューラルネットワークの演算結果に含まれる。
【００２８】
ノードにより実行される前記入力データを非線形に変換する段階が、正弦関数を用いて前記入力データを変換する第１下位段階を備え、前記第２の変換下位段階が、前記正弦関数による変換の後、すなわち前記第１の変換下位段階を実行した後に、前記インプットデータを合計する段階を備える。
【００２９】
前記少なくとも１つの隠れ層及び前記出力層のノードのそれぞれが、異なる入力データのための複数の入力チャネルを備え、該チャネルが、前記第１変換段階において非線形変換を行う前記第１の変換下位段階を実行するための受信ユニットと、前記チャネルそれぞれの前記受信ユニットのアウトプットに接続されるインプットを備えるとともに、前記チャネルそれぞれの前記非線形に変換された入力データを１つの値に合計することにより、前記第１変換段階の前記第２の変換下位段階を実行する合計ユニットと、前記合計ユニットのアウトプットに接続されるインプットを備える非線形変換ユニットを備え、前記第１変換段階において得られた前記値を非線形フィルタリングして、連続する隠れ層或いは前記出力層の入力値である前記ノードの出力値を算出することにより、該非線形変換ユニットが前記第２変換段階を実行する。
【００３０】
前記入力データが入力データ変数空間内の所定数の変数であり、前記変数のそれぞれが前記入力データ変数空間内の座標により定義され、第１変換段階において、前記入力データ変数空間内の前記座標のそれぞれが、対応する可変の値に非線形に変換され、該可変の値が、前記座標の値の空間位置により、所定波長の空間波に対して依存する値とされ、前記可変の値は、前記入力座標値に正弦波の波長を乗じることにより求められ、求められた値がその後一定値に変換され、前記入力座標のそれぞれの波長が、学習フェーズにおいて調整される。
【００３１】
前記ノードによる前記入力データの前記変換が式
【００３２】
【数４】
2007505379.tif 000007
（ただし、Ｆ（・）は第２変換段階の非線形フィルタリング関数、Ｇ（・）は第１の下位段階の非線形関数と、第２下位段階の非線形関数を組み合わせた関数を示す。）
により定義され、
該第２変換下位段階において、関数
【００３３】
【数５】
2007505379.tif 000008
にしたがって、非単調に正弦波関数により処理された重みが付加された入力値が合計される。
【００３４】
前記ノードのそれぞれが、前記入力データの変換を、関数
【００３５】
【数６】
2007505379.tif 000009
にしたがって行う。
【００３６】
前記第２変換段階が、シグモイド関数を用いて行われる。
【００３７】
前記入力層の前記入力ノードが、受信された入力データを変換する第１非線形変換段階及び第２非線形変換段階を実行し、前記第１非線形変換段階及び前記第２非線形変換段階が、入力データのための受信チャネルと、前記第１変換段階の前記第１非線形変換下位段階を実行する前記受信チャネルに接続した受信ユニットと、前記チャネルそれぞれの非線形に変換された入力データを前記１つの値に合計することにより、前記第１変換段階の前記第２変換下位段階を実行する合計ユニットと、前記第１変換段階において得られた値をフィルタリングするとともに、前記入力ノードの前記出力値をその他の前記隠れ層或いは前記出力層の入力値として提供することにより、前記第２変換段階を実行する非線形変換ユニットを用いて実行される。
【発明の効果】
【００３８】
ノード間の結合で２つの特別な非線形関数が存在することで、学習フェーズ時に演算される関数及びネットワーク動作の双方に、本発明のネットワーク特性に明白な効果が得られる。
【００３９】
本発明のプロセスは、新しい一般的な学習則を提示する学習方程式の基本的な改良点として、現存のネットワークトポロジに適用されてもよい。新しい学習則は複合的データベースで迅速な収束と外挿機能を提供する。
【発明を実施するための最良の形態】
【００４０】
本発明に係る請求項により、本発明の改良点が更に開示される。本発明によりアルゴリズムの特徴及びそれより得られる利点は、実施例と図面を用いてより詳細に説明される。
【００４１】
以下の図に示される例は、多層ニューラルネットワークに関するものであって、これを用いて試験が行われた。多層ニューラルネットワークは入力層及び出力層との間に挿入された１又は複数の隠れ層を備える（図４参照）。データベースのデータは、入力データを受信するチャネルを備えた入力層のノードへ提供される。入力層の各ノードは、第１隠れ層の各ノードへと接続される。続いて第１隠れ層の各ノードは、次の隠れ層の各ノードへと接続され、最後の隠れ層まで接続が続く。最後の隠れ層の各ノードは、出力層の各ノードに接続される。
【００４２】
上記の内容は、以下に説明する理論及び図１乃至図３により、より明瞭に説明される。ニューラルネットワークのノードは、処理ユニットであって、処理ユニットは１乃至３つ又はそれ以上の数の入力チャネルにおいて、入力データを受信する。また処理ユニットは、入力データを非線形関数により変換する。入力データが非線形変換されると出力チャネルで１つの値が提供される。ノードが出力層のノードである場合は、提供される値は、ニューラルネットワークにより計算された出力データとなる。ノードが出力層のノードでない場合は、出力データは、隠れ層又は出力層などから次の層のノードに送信する入力データとして提供される。
【００４３】
通常、ノードで受信された入力データの変換は、２つの段階を経て実行される。第１変換段階はノードへのネットインプットを計算するための段階であって、通常の計算値は、ノードから受信される入力データに重み付けしたものの総和或いは入力データの平均値の総和である。第２変換段階は、第１変換段階で変換された入力データの非線形フィルタリングである。
【００４４】
図１は、当該技術分野で知られた典型的な従来型ノードである。関数中の１つの変数は、図３のように示される。
【００４５】
図３によると、人工ニューラルネットワークの特定の層の典型的なノードに対して、次の変数が以下に説明される意味で使用される。
2007505379.tif 000010
【００４６】
従来型ネットワークにおいては、各ノードは入力ノードから重み付けされた入力を受信した後、合計し、その結果を非線形関数により変換する要素として機能する。このように従来型のネットワークにおいて、各ノードは入力データを線形変換した後、下記の関数（１）を用いて非線形変換を行う。
【００４７】
【数７】
2007505379.tif 000011
ただし、Ｆ（・）は関数（例えばシグモイド関数）、線形関数Ｌ（・）は重み付け入力の総和を示す。
【００４８】
【数８】
2007505379.tif 000012
式（１）及び（２）の結果として、従来型ニューラルネットワークの一般的なノードにおける従来型変換関数が得られる。
【００４９】
【数９】
2007505379.tif 000013
【００５０】
図２は、本発明の人工ニューラルネットワークの一般的なノードの構造を概略的に示したものである。
Ｒは、受信ユニットの関数を示す。受信ユニットＲは、ノードの各入力チャネルにおける第１変換段階の第１変換下位段階を実行する。第１変換下位段階は非線形変換であって、詳細については後述される。
Σは第１変換段階の第２変換下位段階を示す。第２変換下位段階Σは、前の受信ユニットＲにおいて非線形変換された重み付け入力値の総和を求める。
Ｘ１乃至Ｘｎは、入力値を示す。ノードが隠れ層又は出力層に属する場合は、入力値は他の１乃至ｎノードにより受信される。またノードが入力層に属する場合は、入力値はデータベースの入力データである。
Ｗ１乃至Ｗｎは、各結合に付加される重み（結合荷重）を示す。結合において重みが付加される際に、ノードは他のノードから入力値を受信する。
Ｆは、ノードのユニットを示す。Ｆでは、第１変換段階で得られた値が入力されて非線形変換段階が実行され、Ｙで示されるノードの出力値が提供される。
【００５１】
図に示されるノードが入力層或いは隠れ層のノードである場合、出力値は結合荷重を介して、次の層の１又は所定数のノードへと送信される。次の層は、隠れ層又は出力層にあたる。図に示されるノードが出力層のノードである場合、Ｙは、ネットワークによってノードで処理された計算出力データを示す。
【００５２】
本発明の人工ニューラルネットワークによるデータ処理における基本的な概念は、各ユニットに受信ユニットＲを提供することである。受信ユニットＲは、各入力と合計ユニットΣとの間に挿入される。受信ユニットＲは、各入力ノードから送信されてノードで受信された入力を、非線形関数で適切に変換する。その後、入力値の合計が演算され、入力値を合計した値は、第２変換段階ユニットＦの非線形関数を介して変換される。受信ユニットＲの意味は、入力値の質−量プロセス（quanti-qualitative process）の導入を行うことである。これは入力値に定量的プロセスのみを実施する手法の代替となる。また、これは生体組織内で電位ポートと化学的ポートの対応に例えられる。変換の定性的特徴は、正弦関数により得られる。入力空間の各i番目の座標について、定性的特徴は変換されたi番目の依存性の導入を可能とする。この変換は任意の波長を有する空間波に対する座標値の空間的位置により行われる。入力データ座標値に波長を乗じたものが、一定の値に変換される。尚、各受信ユニットにおける波長は、人工ニューラルネットワークの学習フェーズにおいて調整される。これについては後述の実施形態で説明される。
【００５３】
本発明の人工ニューラルネットワークにおいて、各ノードは、各ノードに入力されるデータを非線形変換する。この非線形変換を表す関数は、図３で定義した変数を使用して、以下のように示される。
【００５４】
【数１０】
2007505379.tif 000014
ただし、Ｆ（・）は関数（例えばシグモイド関数）、Ｇ（・）は非線形変換で非単調に正弦関数により処理された重み付け入力値の総和を示し、Ｇ（・）は式（５）のように定義される。
【００５５】
【数１１】
2007505379.tif 000015
【００５６】
式（４）及び（５）の結果として、人工ニューラルネットワークのノードで行われる入力変換は、次式で示される。
【００５７】
【数１２】
2007505379.tif 000016
【００５８】
更に上記の説明から明らかなように、本発明のネットワーク類型は、一般的に知られたネットワークに、ノード内部の動作を大きく調整した構成である。このノード調整は、入力からの出力評価や学習フェーズにおいても、取り入れられる。
【００５９】
次に、本発明の人工ニューラルネットワークに、誤差逆伝播学習と呼ばれる、良く知られたニューラルネットワーク構造を組み合わせた例が、より詳細に説明される。
【００６０】
人工ニューラルネットワークは図４に示される如く多層構造を備える。
【００６１】
誤差逆伝播学習ネットワークは、よく知られた手法である降下法（Gradient Descent Principle）を用いて機能する。より詳しくは、Rumelhart D．E．, MiClelland J．Ｌ．編集Parallel Distributed Processing：Explorations in the Microstructure of Cognition，Volume 1，p.318-362（マサチューセッツ州ケンブリッジ：The MIT Press．1986年）中のRumelhart D．E.，Hinton G.E. Williams R．Ｊ．著“Learning internal representations by error propagation”に説明されている。）
【００６２】
本発明の人工ニューラルネットワークの一実施形態の如く、人工ニューラルネットワークは、本発明のノード処理に適合するよう修正された降下法を適用する。またニューラルネットワークを制御する式は、ノード処理に直接適合可能なように詳細に分析され、式（５）の如く定義される。式（５）は２つの式に分けられる。即ち入力から出力への信号伝達に関する式（前向きフェーズ式）と学習フェーズに関する式（学習フェーズ式）である。
【００６３】
以下の式（７）は、本発明の多層型隠れ層に適合するように修正された降下法の一般的な例である。図４に、２つの隠れ層を備えた多層型ネットワークが示されている。第１変換段階の第１変換下位段階において入力を非線形変換する受信ユニットは、隠れ層ノード及び出力層ノードにのみ提供されている。
【００６４】
（前向きフェーズ式）
いわゆる調和ネットインプット（harmonic net input）は以下式（７）のように定義される。式（５）において説明したとおり、［Ｓ］は層を一般的に示す。
【００６５】
【数１３】
2007505379.tif 000017
【００６６】
出力の活性値は式（８）により計算される。
【００６７】
【数１４】
2007505379.tif 000018
【００６８】
2007505379.tif 000019
【００６９】
【数１５】
2007505379.tif 000020
【００７０】
（学習フェーズ式）
降下法式（１０）が用いられる。降下法式（１０）は通常のグローバル誤差関数、例えば平均平方誤差関数（１１）を備える。各ノードにおける誤差を評価するために、ローカル誤差が式（１２）により定義される。
【００７１】
【数１６】
2007505379.tif 000021
【００７２】
【数１７】
2007505379.tif 000022
【００７３】
【数１８】
2007505379.tif 000023
【００７４】
【数１９】
2007505379.tif 000024
【００７５】
【数２０】
2007505379.tif 000025
またその他の層についてもローカル誤差が式（１５）により計算される。
【００７６】
【数２１】
2007505379.tif 000026
【００７７】
以下、上記の如く定義された人工ニューラルネットワークを、ニューラルネットワークの典型的な試行問題の解決に適用する。それにより得られる結果を、当該技術分野による従来型の誤差逆伝播学習ネットワークと比較する。
【００７８】
第一の例として、非常に単純な問題（トイ問題）が本発明の人工ニューラルネットワークにより解決される。これにより、人工ニューラルネットワークが備える基本的な特性や他のアルゴリズムとの差異が明らかとなる。
【００７９】
第一の例は、ＸＯＲ問題として知られる単純なデータセットに関するものである。モデルは以下表１に示されるＸＯＲ演算子（Boolean rule）を学習しなければならない。
（表１）
2007505379.tif 000027
【００８０】
本発明による人工ニューラルネットワークで得られた結果と、誤差逆伝播学習で訓練されたＭＬＰネットワークにより得られた結果を比較した。この試験において使用されるＭＬＰネットワークは、従来型の誤差逆伝播学習の機能を拡張したものである。ＭＬＰネットワークはセメイオン研究所で開発されたもので、詳しくはBusma M．，Sacco P．L．著“Feedforward networks in financial predictions：the future that modifies the present”Expert Systems、vol.17（3），pp149-170（英国オックスフォード、ブラックウェル、アゴスト、2000年）に掲載されている。
【００８１】
分析の結果、両ネットワークが、正しい解決へと収束を行うことが明らかとなった。尚、分析対象事項は、解決のクオリティと収束のスピードである。
【００８２】
図５は誤差逆伝播法による典型的な解決を示す図であって、超平面が３つの領域に空間を分割する状態が示されている。本発明のネットワークによりもたらされる典型的な解決の状態（図７参照）と図５の解決の状態とでは、明らかな差異が現れる。図６に示すように本発明の人工ニューラルネットワークのアーキテクチュアは、局所的にある特性を示す。つまりアーキテクチュアの一部がラジアル基底関数（Radial Basis Function、ＲＢＦ）ネットワークの「クラスタリング入力」ニューラルアーキテクチュアに似た特性を示す。この特性は、入力層と隠れ層間の結合の非単調関数により生じたものである。
【００８３】
表２に示す収束のスピードの比較から明らかなように、本発明による人工ニューラルネットワークは誤差逆伝播法よりも良い性能を発揮する。これは部分的に生じた「クラスタリング・フェーズ」により説明することができ、「クラスタリング・フェーズ」は非線形変換及び非単調型の重みで実行される。
（表２）
2007505379.tif 000028
【００８４】
表２は、エポック（学習に成功し、収束したとき）におけるＸＯＲ問題の収束スピードについて、２つのネットワーク（Bp＝誤差逆伝播法、SN＝人工ニューラルネットワーク）を比較したものである。２つのネットワークについて、２０回の試験を実施した。試験では、ローカル・ミニマムに収束する前に２度ネットワークを停止させた。
【００８５】
本発明のネットワークについて試験された第二の単純な問題は、「スパイラル問題」と呼ばれるものである。「スパイラル問題」のデータベースを図８に示す。
【００８６】
データベースは、１００個の隠れユニットを備える逆伝播式ネットワークと３０個の隠れユニットを備える本発明のネットワークを演算するために提示された。この試験においても同様に、解決のクオリティと収束スピードが評価された。
【００８７】
この試験でも、本発明の人工ニューラルネットワークの解決でラジアル基底関数（Radial Basis Function、ＲＢＦ）ネットワークの「クラスタリング入力」ニューラルアーキテクチュアに似た分割状態が生じる。従来型誤差逆伝播法演算による解決で得られたスペースの分割（図１０参照）と比較すると、人工ニューラルネットワークによる解決はより滑らかな解決である。図９は、本発明の人工ニューラルネットワークで演算した２つのスパイラル問題の解決を示す。図１０は、従来型誤差逆伝播法で演算した２つのスパイラル問題の解決を示す。
【００８８】
この試験において、重みが様々な値域に初期設定され、それに応じて本発明のアルゴリズムの興味深い特性が現れる。この特性は図１１ａ乃至図１１ｄから明らかであって、重みの初期値が増加するにつれて、スパイラル問題の解決を示す凹凸が増加するとともに、収束スピードも増加する。このことから、様々な重みの初期値を設定することで、本発明の人工ニューラルネットワークの近似特性と汎化特性の両立が制御可能であることが示される。
【００８９】
図１１ａにおいて、本発明のネットワークが、重みの初期値を（−１：＋１）として約５０００のエポックで訓練される。このとき、訓練セットのＲＭＳＥ値が約０．２０１となり、滑らかな分割が得られる。図１１ｂに示す如く、重みの初期値を（−Π：Π）にまで増加させても約３０００のエポックで同様のＲＭＳＥ値が得られる。依然として分割の滑らかさは適度である。しかし重みの初期値が（−１０：１０）以上となると、訓練セットの補間されるポイントが終端に達するため、スパイラル問題のシャドーが現れる。
【００９０】
本発明によるネットワークは、訓練モデルの補間／汎化特性を選択するための分かり易いパラメータとして使うことが可能である。ただし適切な初期値を決定する手段がない場合は、幾つか欠点を有する。本発明の人工ニューラルネットワークによりニューラルネットワーク特に誤差逆伝播法アルゴリズムに関する文献において解けなかった問題が解決され、隠れユニットの正しい数を特定できるようになる。詳しくは、Geman， S．， Bienenstock E. and Doursat R.，“Neural Networks and the Bias/Variance Dilemma” Neural Computation，4，p1-58，（1992年）を参照のこと。
【００９１】
反対に隠れユニット数について、初期値（−Π：Π）に関して「ほぼ全て真」となる受信が起こる。この値域は明らかに全て正弦波周期である。入力は０から１までの値に標準化されるため、初期値を（−Π：Π）に選択すると本願で記載した全ての試験や本発明の開示技術の効果を確認するその他の試験において最良の結果が導かれる。
【００９２】
もう一つのスパイラル問題は、１９２ポイントにおけるスパイラル問題である。これは前の問題よりも難解で、図１２はこの試験結果を示す。図１２で本発明によるネットワークの性能による難解なタスクの収束が図示される。
【００９３】
本発明による人工ニューラルネットワークの動作の分析において、重みに着目して動作を強調することが有用である。下記数２２に示される単純な法則より、小さな重みがあれば、本発明のネットワークの結合は、自らをより単純な従来型誤差逆伝播式ネットワークの結合に変換することが明らかとなった。
【００９４】
【数２２】
2007505379.tif 000029
【００９５】
本発明による人工ニューラルネットワークが、単純な問題からより難解な問題を学習するにつれて結合荷重で非線形変換を用いるという興味深い方法を説明する。図１３において、入力の値域を［０，１］としたときの、人工ニューラルネットワークにおける各結合の特性を示す関数のプロットが示される。図１３は、重み付け入力の総和を求める式（５）の追補である。
【００９６】
図１３において、入力ノードから出力ノードに入力信号を結合するときに付加される重み（結合荷重）が示される。図１３では、逆伝播式ネットワークの単純な線形変換との差はそれほど大きくない。しかし図１４のように、隠れノードから出力ノードへの結合荷重を分析すると、人工ニューラルネットワークの作用における結合の非線形及び非単調動作が明らかとなる。
【００９７】
図１５及び図１６において、入力ノードから隠れノードへの結合荷重と隠れノードから出力ノードへの結合荷重の変化を示す関数がそれぞれ示される。解決すべき問題、即ち６４スパイラル問題が複雑になるほど、人工ニューラルネットワークの結合に非線形変換が多く使用される傾向が見られる。よって結合に線形変換が使用されるネットワークとの差異が大きくなる。
【００９８】
次に、本発明による人工ニューラルネットワークと従来型逆伝播式ニューラルネットワークの動作を信頼性が高く複雑な２つのデータベースを試験して分析する。
以下に示す２つのデータベースは試験対象として選択される。また２つのデータベースはインターネット上で利用可能である。
乳がんデータベース（在マディソン・ウィスコンシン大学病院、William H. Wolberg作成）
オーストラリア信用度スコアデータベース（Statlogプロジェクト作成）
【００９９】
上記のデータベースの分析を行う方法には、交差妥当化法（cross-validation approach）が選択された。乳がんデータベースについては、サンプルを９グループに分ける交差妥当化法(9-fold cross-validation approach)が選択された。またオーストラリア信用度スコアデータベースにおいては、サンプルを１０グループに分ける交差妥当化法(10-fild cross-validation approach)が選択された。
【０１００】
Ｋグループ交差妥当化法（K-folds cross-validation approach）は、データセットの真偽の疑わしい文書を検証するための明確な要求に応えるものである。この方法は、アルゴリズム性能比較における第一タイプの誤差に関しては、実効性が弱い。また半分のサンプル数での交差妥当化法も行われ、以下に示すような結果が確認された。
【０１０１】
（乳がんデータベース）
乳がんデータベース特性について簡単な概要を以下に示す。
タイトル：ウィスコンシン乳がんデータベース
インスタンス数：６９９
属性数：１０＋クラス属性（良性／悪性）
クラス分布：良性／４５８（６５．５％）、悪性／２４１（３４．５％）
ネットワーク構成は、誤差逆伝播法の一つの出力ノードに対して活性化関数としてシグモイド関数を用い、別の出力ノードに対してソフトマックス関数を用いる。一方のノードは悪性クラス、別のノードは良性クラスとする。（詳しくは、Mangasarian O.L. and Wolberg W．H．,“Cancer diagnosis via linear program”，SIAM NEWS，vol.23 Nomner 5，pp1&18（１９９０年９月）を参照のこと。)
【０１０２】
本発明の人工ニューラルネットワークについても同様の構成が使用された。本発明の人工ニューラルネットワークについて、２つの方法が使用される。第一実験は、訓練セットに６２９個のサンプル、予測に７０個のサンプルを用意して９グループ交差妥当化法を使用する。これを用いて、人工ニューラルネットワークの過学習に関する性能を分析する。第二実験は調整セットに６２９個のサンプル、予測セットに７０個のサンプルを用意する。６２９の調整セットは、３１５個の訓練セットと３１４個の試験セットに分割され、過学習現象を抑制するために、「アーリー・ストッピング」を実行する。詳しくは、Sarle W.S. “Stopped Training and Other Remedies for Overfitting”27th Symposium on the Interface(1995年)を参照のこと。
【０１０３】
第一実験において、４、８、１２、１６個のユニットを備えた４つのネットワークについてそれぞれ試験が行われ、結果から異なる隠れユニット数に対するネットワーク感度の違いが評価された。以下の表は乳がんデータベースにおける精度の加重平均である。
【０１０４】
（表３）
2007505379.tif 000030
また以下の表は乳がんデータベースにおける精度の分散値を示す。
【０１０５】
（表４）
2007505379.tif 000031
【０１０６】
尚、上記の２つの表や図面においては、本発明の人工ニューラルネットワークはSN又はSN network、Sine Netと表記される。また当該技術分野による従来型逆伝播式ネットワークは、Bpと表記される。
【０１０７】
表３の結果より、絶対的パフォーマンスに関して、人工ニューラルネットワークでは、隠れユニット数の異なるあらゆる構成で、精度が高いことを示す結果が得られた。また表４の結果より人工ニューラルネットワークでは、全ての隠れユニット数について、分散が小さいことを示す結果が得られた。表３の結果より、従来型逆伝播式ネットワークに比べ、本発明の人工ニューラルネットワークのほうが過学習に対して高い信頼性を有することが示された。また表４の結果で人工ニューラルネットワークのほうが分散が小さいことから、逆伝播式ネットワークよりも人工ニューラルネットワークのほうが結果の変動が小さいことが明らかになった。このことから、本発明によるネットワークは隠れユニットの数の影響を受けにくいことがわかった。
【０１０８】
図１７は、第一実験における異なる隠れユニット数に対する精度について、逆伝播式ネットワークと人工ニューラルネットワークの比較を示す。
図１８は乳がんデータベースにおける、異なる隠れユニット数に対する隠れユニットの精度の加重平均についての、逆伝播式ネットワークと人工ニューラルネットワークの比較の結果を示す。
【０１０９】
次に、１２個の隠れユニットを用意して「アーリー・ストッピング」を実行する実験が行われた。この実験により、図１９に示す結果が得られた。逆伝播式ネットワークは人工ニューラルネットワークよりも値の上昇幅が大きい結果となった。人工ニューラルネットワークのほうが過学習に対する性能が優位であることが示された。図１９は図１８に類するものであって、「アーリー・ストッピング」を行った乳がんデータベースの試験について、逆伝播式ネットワークと人工ニューラルネットワークの比較の結果を示す。
【０１１０】
（オーストラリア信用度スコアデータベース）
タイトル：オーストラリア信用度認定
インスタント数：６９０
属性数：１４＋クラス属性（良／悪）
クラス属性：クラス２：３０７（４４．５％）、クラス１：３８３（５５．５％）
【０１１１】
このデータセットはクレジットカード加入に関係するものである。このデータセットを調査するために２つの手法が使用された。第一実験は１０グループ交差妥当化法によって訓練・予測の評価を行った。第二実験は１０グループ交差妥当化法によって、過学習に対して「アーリー・ストッピング」を行った訓練・試験・予測の評価を行った。ネットワーク構成は乳がんデータベースの実験と同様のものを用いた。
【０１１２】
第一実験の結果は図２０及び表５に示される。隠れユニット数は４、８、１２、１６で実験された。
【０１１３】
（表５）
2007505379.tif 000032
【０１１４】
表５は第一実験における異なる隠れユニットの数に対する精度についての、従来型逆伝播ネットワーク（Ｂｐ）と本発明の人工ニューラルネットワーク（ＳＮネットワーク）の比較を示す。図２０は表５をグラフで示したものである。
【０１１５】
更に第一実験に類似の第二実験が行われた。第二実験においては、１２の隠れユニットが使用された。第一実験と第二実験の結果の比較を表６及び図２１に示す。
【０１１６】
（表６）
2007505379.tif 000033
【０１１７】
表６は、オーストラリア信用度スコアデータセットで、アーリー・ストッピング実行時（訓練-試験-予測）、実行しない時（訓練-予測）につき、従来型逆伝播式ネットワーク（Ｂｐ）と本発明のネットワーク（ＳＮ）を比較したものである。
【０１１８】
実験結果及び第一実験及び第二実験の比較から、乳がんデータベースの実験により得られた結論が確認される。即ち人工ニューラルネットワークでは分散が小さく、第一実験と第二実験の比較で逆伝播式ネットワークの精度の差が大きいことから、本発明による人工ニューラルネットワークが過学習抑制に対して優位な性能を有することが示された。
【図面の簡単な説明】
【０１１９】
【図１】従来型ネットワークの概念処理の概略図である。
【図２】図１の代替方法であって、本発明のネットワークによる概念処理を示す。
【図３】ｊ番目のノードに対するノード変数の概略図である。
【図４】本発明による多層ネットワーク構造の概略図である。
【図５】XOR（排他的論理和）問題の解決を示す線図であって、従来型の誤差逆伝播学習ニューラルネットワークいわゆるRBFネットワークと本発明によるニューラルネットワークを使用している。
【図６】XOR（排他的論理和）問題の解決を示す線図であって、従来型の誤差逆伝播学習ニューラルネットワークいわゆるRBFネットワークと本発明によるニューラルネットワークを使用している。
【図７】XOR（排他的論理和）問題の解決を示す線図であって、従来型の誤差逆伝播学習ニューラルネットワークいわゆるRBFネットワークと本発明によるニューラルネットワークを使用している。
【図８】いわゆる２つのスパイラル問題を示す線図である。
【図９】本発明の人工ニューラルネットワークで得られた２つのスパイラル問題の解決を示す線図である。
【図１０】従来型の逆伝播ニューラルネットワークで得られた２つのスパイラル問題の解決を示す線図である。
【図１１】図１１ａ乃至１１ｄは、異なる初期値を設定した人工ニューラルネットワークで得られた２つのスパイラル問題の異なる解決の様子を示す線図である。
【図１２】１９２入力ポイントでの人工ニューラルネットワークにより得られた２つのスパイラル問題の解決を示す線図である。
【図１３】本発明による人工ニューラルネットワークにおける入力ノードから隠れノードへの結合荷重の変化を示す線図である。
【図１４】本発明による人工ニューラルネットワークにおける隠れノードから出力ノードへの結合荷重の変化を示す線図である。
【図１５】本発明による人工ニューラルネットワークにおける入力ノードから隠れノードへの結合荷重の変化を示す線図である。
【図１６】本発明による人工ニューラルネットワークにおける隠れノードから出力ノードへの結合荷重の変化を示す線図である。
【図１７】第一実験における異なる隠れユニットの数に対する精度について、従来型逆伝播式ニューラルネットワークと本発明による人工ニューラルネットワークの比較を示す。
【図１８】乳がんデータベースにおける、従来型の逆伝播ニューラルネットワークと本発明による人工ニューラルネットワークの比較の結果を示す。
【図１９】「アーリー・ストッピング」を実行した乳がんデータベースにおける、従来型逆伝播式ニューラルネットワークと本発明の人工ニューラルネットワークの比較の結果を示す。
【図２０】オーストラリア信用度スコアデータベースに関する、第一実験における隠れユニットの数に対する精度について、従来型逆伝播式ニューラルネットワークと本発明の人工ニューラルネットワークの比較を示す。
【図２１】オーストラリア信用度スコアデータベースに関する、「アーリー・ストッピング」実行時（訓練‐試験‐予測）と実行しない時（訓練‐予測）の従来型逆伝播式ニューラルネットワークと本発明の人工ニューラルネットワークの比較の結果を示す。
【図１】
2007505379.tif 000050
【図２】
2007505379.tif 000051
【図３】
2007505379.tif 000052
【図４】
2007505379.tif 000053
【図５】
2007505379.tif 000054
【図６】
2007505379.tif 000055
【図７】
2007505379.tif 000056
【図８】
2007505379.tif 000057
【図９】
2007505379.tif 000058
【図１０】
2007505379.tif 000059
【図１１ａ】
2007505379.tif 000060
【図１１ｂ】
2007505379.tif 000061
【図１１ｃ】
2007505379.tif 000062
【図１１ｄ】
2007505379.tif 000063
【図１２】
2007505379.tif 000064
【図１３】
2007505379.tif 000065
【図１４】
2007505379.tif 000066
【図１５】
2007505379.tif 000067
【図１６】
2007505379.tif 000068
【図１７】
2007505379.tif 000069
【図１８】
2007505379.tif 000070
【図１９】
2007505379.tif 000071
【図２０】
2007505379.tif 000072
【図２１】
2007505379.tif 000073
【国際調査報告】
2007505379.tif 000074
2007505379.tif 000075
2007505379.tif 000076