(57)【要約】【課題】従来のニューラルネットワークの学習方式では、分類対象データに対して１個のニューラルネットワークを用いて学習を行っているが、データベースにノイズや矛盾データを含む事例が存在する場合、その分類能力は低くなっている。【解決手段】本発明によるニューラルネットワークによるデータベース解析システムは、複数のニューラルネットワークの学習手段により、データベースを最適な部分空間に分割し、各部分空間に特化した分類を行うことができる。【選択図】図１
2005182449.tif 000002
【特許請求の範囲】
【請求項１】
階層型ニューラルネットワークを用いてデータベースを構成する事例を学習する装置において、事例から構成されるデータベース空間を複数個の部分空間に分割する手段と、入力信号の特徴から、学習中に格子状に配置された中間層のニューロンが生成または消去されながら、そのニューロンの位置と出力活性値の大きさをもとに好ましい分割状態を示すマップを構成する手段と、出力層のニューロンから出力信号のフィードバックを行うことで、事例の出力信号からマップを修正する手段を備えたニューラルネットワークによるデータベース解析装置。
【請求項２】
マップを修正する手段によって作成されたマップから、データベースに含まれる特徴をIF-THENルールとして抽出する請求項１記載のニューラルネットワークによるデータベース解析装置。
【請求項３】
階層型ニューラルネットワークを用いてデータベースを構成する事例を学習する装置において、ニューラルネットワークの学習によって分割されたサブのデータベースに対して、過学習の状態で分割されたデータベースを分類するニューラルネットワークを構成する手段と、ニューラルネットワークの学習によって分割された複数の異なるサブのデータベースに対して、それぞれの事例を分類するニューラルネットワークを構成する手段と、学習中にデータベースを構成する事例に変化があった場合でも、学習を初期から行うことなく、ネットワークの構造や結合荷重ベクトル、学習パラメタ値の継承を行いながら、データベースの事例に適応した学習を行う手段を備えたニューラルネットワークによるデータベース解析装置。
【請求項４】
データベースの事例に適応的に学習を行うニューラルネットワークにおいて、生物の進化の過程で形態を様々に変化させることで環境に適応してきたという進化論にもとづいて、遺伝的アルゴリズムによる探索方法とニューラルネットワークの学習法を組み合わせて、ニューラルネットワークの構造や結合荷重ベクトルおよび学習パラメタ値の候補を算出する手段と、その候補から最尤推定により好ましいニューラルネットワークの構造を決定する手段を備えた請求項３記載のニューラルネットワークによるデータベース解析装置。
【請求項５】
階層型ニューラルネットワークを用いてデータベースを構成する事例を学習する装置において、ニューラルネットワークの学習によって分割されたサブのデータベースに対して、それぞれの事例を分類するニューラルネットワークを構成する請求項３記載のニューラルネットワークと、入力信号の特徴から、学習中に格子状に配置された中間層のニューロンが生成または消去されながら、そのニューロンの位置と出力活性値の大きさをもとに好ましい分割状態を示すマップを構成する手段と、出力層のニューロンから出力信号のフィードバックを行うことで、事例の出力信号からマップを修正する手段を備えた請求項１記載のニューラルネットワークを構成する手段を備えたニューラルネットワークによるデータベース解析装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のニューラルネットワークの構造と学習方式、およびニューラルネットワークを用いた知識獲得の手法に係り、データベースの事例を学習することで、データが構成する空間を再現でき、分類精度の高いニューラルネットワークを構築する学習方式と、学習後のニューラルネットワークから知識獲得を行う手法に関係する。
【背景技術】
【０００２】
データの分類処理のため、階層型ニューラルネットワークを用いる従来の方法では、既知の事例を訓練事例に対してニューラルネットワークの学習を行い、学習後のニューラルネットワークに未知の事例を与え、ニューラルネットワークの出力活性値をもとに、事例を分類している。ここで、事例はニューラルネットワークに与える入力信号と、その入力信号の分類結果を表す出力信号の組によって表現される。
【０００３】
図１６は、階層型ニューラルネットワークの構成を示す。同図において、入力層には事例の特徴量ベクトルｘ＝（ｘ１，  ｘ２，  …，ｘｎ）が入力される。特徴量ベクトルｘのi番目の要素ｘiはi番目のユニットに入力される。
【０００４】
出力層は、事例の出力信号を出力する。出力信号の数に応じて、出力層のニューロン数が決定される。事例の分類における従来の手法では、出力信号の組み合わせによって決められており、事例の分類される数に応じて、出力層のニューロン数を決められている。従って、分類されるカテゴリの数がｍ個であれば、ニューラルネットの出力はｍ次元のベクトルとなる。
【０００５】
ニューラルネットワークを用いる従来の学習法で、高い分類能力を得るためには、訓練事例として矛盾やノイズの含まない事例集合を事前に作成する必要があった。ところが、計測値や検査値などの実測値から構成されるデータベースでは、矛盾やノイズを含む事例が多く見られる。さらに、有効な訓練事例集合を構成するためには専門的知識が必要不可欠であり、ニューラルネットワークによる分類をすべて自動で行うことは困難であった（例えば、特許文献１参照。）。
【０００６】
上述のデータベースから任意に抽出した事例を訓練事例としたニューラルネットワークでは、学習能力が低いため、結果として分類精度も低いものになっていた（例えば、特許文献２参照。）。
【０００７】
学習によって得られたニューラルネットワークから、その分類に関する規則を知識として表現する方法があるが、高い分類能力をもつニューラルネットワークが構築されること自体難しいことと、表現された知識に対する重要度が与えられていないため、獲得された知識を利用することが難しかった。
【０００８】
以下、図１７、図１８により従来のニューラルネットワークの学習方法と学習後のニューラルネットワークからの知識獲得方法について説明する。
【０００９】
特許文献１が示すように、図１７に示すニューラルネットワークの学習方式では、訓練事例の分布密度に応じて、教師信号ベクトルに重み付けを行い、分類精度を高める手法が考えられる。つまり、ニューラルネットワークの学習によって結合荷重が調整される際に、分類対象データの特徴量ベクトル空間内において、訓練事例の分布密度が高い領域に属する訓練事例や、既知の分類規則により分類結果の信頼度が低い訓練事例に対しては、訓練事例の分類結果に高い重み付けをした教師信号ベクトルを用い、一方、訓練事例の分布密度が低い領域に属する訓練事例や、既知の分類規則により分類結果の信頼度が高い訓練事例に対しては、既知の分類規則により分類結果に高い重み付けをした教師信号ベクトルを用いるように動作する手法である。このため、訓練事例にノイズ等が含まれている場合にも、未知データに対する十分な分類精度が得られるニューラルネットワークを構成することが可能となっている。しかしながら、図１７に示すニューラルネットワークの学習方式では、分類対象データに対して１個のニューラルネットワークを用いて学習を行っているが、訓練事例にノイズや矛盾データを含む場合、訓練事例全体ではノイズや矛盾データに対応する集合が空間の一部となり、全体として矛盾を発生する空間の構成となっていることがあるため、１個のニューラルネットワークでは複雑な空間の学習は、構造的かつ能力的に困難である。
【００１０】
特許文献２が示すように、図１８に示す診断支援システムでは、ニューラルネットワークのLVQ学習によりデータベース内の多数のデータをいくつかのカテゴリに分類して、カテゴリ毎のデータベースの構築を可能としている。そのため、分類されたカテゴリに応じて、データベース内の過去の医療データとの類似度から、類似したデータを検索する手法や、カテゴリ毎のデータ発生頻度を提示する手法や、その発生頻度に応じて予め与えられたサンプルデータに対する診断結果を表示する手法が有効とされている。しかしながら、分類されたデータベースには医療データがそのままの状態で保存されているに過ぎず、分類されたデータ空間に蓄積された知識を人間が理解できる表現形式で記述されていなかった。
【００１１】
【特許文献１】特開平０６−１６１９７９号
【特許文献２】特開平０５−０１２３５１号
【非特許文献１】市村匠、 大枝真一、 山下利之、 田崎栄一郎、 "格子構造ニューラルネットワークの学習法の提案"、 日本ファジィ学会誌、 ２００２年１４巻１号、P２８−４２
【００１２】
以上に述べた従来の手法の問題点は、訓練事例にノイズや矛盾データが含まれている場合のニューラルネットワークの学習と分類能力の精度が低いということである。また、ニューラルネットワークの学習結果からデータを分類できるものの、分類された結果から人間が理解できる表現形式で知識を記述できなかった。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明は、分類の対象となる訓練事例にノイズや矛盾データを含んでいる場合においても、訓練事例を部分集合に分割を行うことにより、部分集合の訓練事例に特化した学習を行うとともに、部分集合に分割された事例に内在する知識をIF-THENルールとして表現することが可能なニューラルネットワークによる学習方式を提供することを目的とする。
【課題を解決するための手段】
【００１４】
階層型ニューラルネットワークを用いてデータベースを構成する事例を学習する装置において、事例から構成されるデータベース空間を複数個の部分空間に分割する手段と、入力信号の特徴から、学習中に格子状に配置された中間層のニューロンが生成または消去されながら、そのニューロンの位置と出力活性値の大きさをもとに好ましい分割状態を示すマップを構成する手段と、出力層のニューロンから出力信号のフィードバックを行うことで、事例の出力信号からマップを修正する手段を備えたニューラルネットワークによるデータベース解析装置を有する。
【００１５】
マップを修正する手段によって作成されたマップから、データベースに含まれる特徴をIF-THENルールとして抽出する請求項１記載のニューラルネットワークによるデータベース解析装置を有する。
【００１６】
階層型ニューラルネットワークを用いてデータベースを構成する事例を学習する装置において、ニューラルネットワークの学習によって分割されたサブのデータベースに対して、過学習の状態で分割されたデータベースを分類するニューラルネットワークを構成する手段と、ニューラルネットワークの学習によって分割された複数の異なるサブのデータベースに対して、それぞれの事例を分類するニューラルネットワークを構成する手段と、学習中にデータベースを構成する事例に変化があった場合でも、学習を初期から行うことなく、ネットワークの構造や結合荷重ベクトル、学習パラメタ値の継承を行いながら、データベースの事例に適応した学習を行う手段を備えたニューラルネットワークによるデータベース解析装置を有する。
【００１７】
データベースの事例に適応的に学習を行うニューラルネットワークにおいて、生物の進化の過程で形態を様々に変化させることで環境に適応してきたという進化論にもとづいて、遺伝的アルゴリズムによる探索方法とニューラルネットワークの学習法を組み合わせて、ニューラルネットワークの構造や結合荷重ベクトルおよび学習パラメタ値の候補を算出する手段と、その候補から最尤推定により好ましいニューラルネットワークの構造を決定する手段を備えた請求項３記載のニューラルネットワークによるデータベース解析装置を有する。
【００１８】
階層型ニューラルネットワークを用いてデータベースを構成する事例を学習する装置において、ニューラルネットワークの学習によって分割されたサブのデータベースに対して、それぞれの事例を分類するニューラルネットワークを構成する請求項３記載のニューラルネットワークと、入力信号の特徴から、学習中に格子状に配置された中間層のニューロンが生成または消去されながら、そのニューロンの位置と出力活性値の大きさをもとに好ましい分割状態を示すマップを構成する手段と、出力層のニューロンから出力信号のフィードバックを行うことで、事例の出力信号からマップを修正する手段を備えた請求項１記載のニューラルネットワークを構成する手段を備えたニューラルネットワークによるデータベース解析装置を有する。
【発明の効果】
【００１９】
上述のように本発明のニューラルネットワークの学習手段では、分類の対象となる訓練事例をその全体的な特徴により、最適な数の部分集合に分割することができため、ノイズや矛盾であるデータであっても、別々の集合として処理することが可能である。
【００２０】
訓練事例を部分集合に分割することより、分割された部分集合にはデータベース空間を最適に分割した部分空間の特徴を捉えるように学習が行われるため、分割された空間に特化した学習を行うことができ、その結果として、精度の高い学習と分類を可能とする。
【００２１】
学習後のニューラルネットワークには、訓練事例の特徴を捉えた空間が形成されていると考えられるため、任意の知識を構成する入力パタンの組み合わせを与えることにより、知識を獲得することが可能となる。
【００２２】
学習後に、新しい事例が追加された場合においても、その新しい事例を含めたデータベース空間を再学習することが可能となる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して本発明の実施例を説明する。入力信号の特徴から、学習中に格子状に配置された中間層のニューロンが自動で生成/消去されながら、そのニューロンの位置と出力活性値の大きさをもとに最適な分割状態を示すマップを構成し、出力層のニューロンから出力信号のフィードバックを行うことで、事例の入力信号と出力信号の特徴を同時にとらえたマップを自動で構成するニューラルネットワークを格子構造ニューラルネットワークと呼び、図１に示される構造をもつ。
【００２４】
生物の進化の過程で形態を様々に変化させることで環境に適応してきたという進化論を、遺伝的アルゴリズムによる探索方法とニューラルネットワークの学習法を組み合わせて、ニューラルネットワークの構造や結合荷重ベクトル、学習パラメタ値の最適な値を求めるニューラルネットワークをダーウィン型ニューラルネットワークと呼び、図２に示される学習手段をもつ。
【００２５】
図３は本発明の一実施例の構成図である。同図において、本実施例のシステムは、事例を格納したデータベース（Ｆ１）、格子構造ニューラルネットワーク（Ｆ２）、学習後の格子構造ニューラルネットワークの下部分（Ｆ３）、分類した訓練事例を格納するデータベース（Ｆ４）、ダーウィン型ニューラルネットワーク（Ｆ５）より構成される。
【００２６】
格子構造ニューラルネットワーク（Ｆ２）は、事例を格納したデータベース（Ｆ１）の一部の事例を訓練事例とした学習を行い、訓練事例の特徴が格子状に配置された中間層ニューロンの配置および出力活性値に表現されるように写像する。ここで、出力活性値が大きいニューロンの数が事例の分類数となる。格子構造ニューラルネットワーク（Ｆ２）の学習アルゴリズムは、後で示すとおりである。
【００２７】
学習後の格子構造ニューラルネットワークの下部分（Ｆ３）は、学習を終えた格子構造ニューラルネットワーク（Ｆ２）の入力層および中間層の一部分により構成されるニューラルネットワークである。
【００２８】
分類された訓練事例を格納するデータベース（Ｆ４）は、前記において写像された出力活性値が大きいニューロン数ＤＮだけ存在し、学習後の格子構造ニューラルネットワークの下部分（Ｆ３）に、前記で用いたものと同じデータベース（Ｆ１）の訓練事例を与え、前向き計算を行った結果、中間層において出力活性値が最大となるニューロンを示す格子状の位置に一致するデータベース（Ｆ４）に事例が格納される。
【００２９】
ダーウィン型ニューラルネットワーク（Ｆ５）は、分類された訓練事例を格納するデータベース（Ｆ４）に格納された訓練事例に対して、分類された事例の集合ごとに別々の学習を行う。
【００３０】
前記までの学習が終了した後、学習後の格子構造ニューラルネットワークの下部分（Ｆ３）のみにテストデータを与え、中間層において出力活性値が最大となるニューロンの位置が示す分類結果に一致した、ダーウィン型ニューラルネットワーク（Ｆ５）に同じテストデータが与えられ、その前向き計算の結果がシステム全体の出力結果を得る。得られた出力活性値がシステム全体としての推論結果となる。
【００３１】
図１に示す格子構造ニューラルネットワークは、一般的な階層型ニューラルネットワークの中間層において、ニューロンを２次元格子状に配置したものであり、自己組織化マップの特徴をもつ。図１の格子構造ニューラルネットワークは、入力層１１と中間層１２、出力層１３によって構成される。また、中間層１２では、入力データの特徴が２次元平面に表示される。さらに、入力層１１と中間層１２との間で分類された信号を、中間層１２と出力層１３の間で学習することにより、ネットワーク全体として訓練事例の入出力関係を表現する能力を持つ。
【００３２】
図１の格子構造ニューラルネットワークの前向き計算は、以下の式に従って算出する。
時刻tのとき、中間ニューロンiの活性出力yi[t]は次のようになる。
【数１】
2005182449.tif 000003
（１）
ここで、σi()はシグモイド関数である。また、ニューロンiのプレシグモイド活性レベルzi[t]は次のようになる。
【数２】
2005182449.tif 000004
（２）
ここでx[t]はx=(x1,x2,・・・,xk,・・・，xIN)を満たす入力信号ベクトルである。また、wiIH=(wi1IH,wi2IH,・・・,wikIH,・・・,wiINIH)は入力重みベクトルであり、wikIHは入力xkとニューロンiとの間の結合重みを示している（ただし、1<=h<=IN）。F()は正の単調減少関数で、パタン空間で入力ベクトルと入力重みベクトルとが接近しているとき、高い活性値を出力する。Met()は距離空間でこれらの2つの距離を示す。Niはニューロンiの近傍集合である。yiは格子上のニューロンjのポストシグモイドレベルを示す。μijはニューロンiとニューロンjを関連づけている重みであり、双方の相対的な位置のみに依存しており、μij=η(|li-lj|)である。ここでli、ljはそれぞれニューロンiとjの格子状の指標である。η()は空間応答関数である。a1とa2は定数である。ここでMet()にユークリッド距離を用いると、F（）は次のようになる。
【数３】
2005182449.tif 000005
（３）
ここでｇ（）は次式を満たす。
【数４】
2005182449.tif 000006
（４）
またｆ（）は次式を満たす。
【数５】
2005182449.tif 000007
（５）
【００３３】
格子構造ニューラルネットワークの入力層１１と中間層１２間の学習は、次のコホネンの学習アルゴリズムに従う。また、中間層１２と出力層１３間の学習は、BP学習法に従う。
【００３４】
格子構造ニューラルネットワークでは、初期状態で近傍領域を、中間層１２のほとんどの領域を覆うように大きく設定し、学習の最後の段階では１となるように、学習が進むにつれて近傍領域の大きさを小さくする手法をもつので、訓練事例は格子構造ニューラルネットワークの中間層１２において、１個のニューロンだけに割り当てられることになる。
【００３５】
データを分類するために中間層のニューロンを適切な数および配置にするために、ニューロンの生成・消去を行う。ニューロンの生成は、ニューラルネットワークにおいてニューロンが不十分であるとき、図４の６１および６２のように行われる。一方、ニューロンの消去は、ニューラルネットワークにおいてニューロンが不要であるとき、図４の６３のように行われる。
【００３６】
図２のダーウィン型ニューラルネットワークは、ダーウィンの進化論に基づいた遺伝機構をＢＰ学習と遺伝的アルゴリズムで実現することにより、ニューラルネットワークの構造や結合荷重ベクトル、学習パラメタ値の最適な組み合わせを、環境の変化に応じて、探索することが可能なニューラルネットワークの学習法である。ここでダーウィンの進化論に基づいた遺伝機構とは、ＢＰ学習によって修正された結合荷重ベクトルを次世代に継承しないことを指している。
【００３７】
前記におけるニューラルネットワークを遺伝的アルゴリズムにより探索を行う場合の遺伝子は、図５のように、１個のニューラルネットワークにおける、構造と結合荷重ベクトル、学習パラメタ値を１個の遺伝子として取り扱う。ここでは、ネットワークの構造を、中間層の数をｈ、各中間層におけるニューロンの数をｎｋ、各層間の結合荷重ベクトルをｗｊｉｓ（ｓ＋１）として表現し、学習パラメタ値である学習係数をη、シグモイド関数の傾きをε、慣性係数をαとして表現する。ここで、ｓは階層型ニューラルネットワークの層を示す。また、これらのパラメタの取り得る値を図６に示した。
【００３８】
一般的な遺伝的アルゴリズムは、生物の遺伝機構を模倣したアルゴリズムで、遺伝子表現された複数の個体から親を選択し、その親の個体遺伝子を遺伝的操作である、選択、交叉、突然変異と呼ばれる手段をもとに、あらかじめ与えられた評価式である、適合度関数にもとづいて、新しい個体（子）を産生する探索手法である。
【００３９】
選択は、遺伝子の集団から親の遺伝子を選択するための手段である。交叉は、選択された親個体の遺伝子を組み替えることにより、新しい個体を生成する操作で、親の優れた形質を子に継承することができる手段である。突然変異は、交叉だけでは得ることができない遺伝子配列を生成するために行われる手段で、あらかじめ設定された突然変異率により、遺伝子の任意の場所を他の遺伝子に置き換える操作である。
【００４０】
本発明では、交叉後の個体に大域的突然変異および局所的突然変異を、確率Ｐｍ／２で行う。ここで、局所的突然変異とは、探索空間内における現在の探索地点の近傍で変異させるために、遺伝子に対して微小の幅をもった変異を与えるために行われものである。一方、大域的突然変異とは、局所的突然変異の範囲を超えて、探索空間内を大域的に探索するために行われるものである。これらの突然変異は、各遺伝子がもつ値に対して予め定められた範囲内の変異（正値および負値）を与えることで行う。
【００４１】
探索により求められた個体の候補が最適であるかどうかを調べるために、赤池の情報量基準ＡＩＣを用いた適合度関数を式（６）により与える。
【数６】
2005182449.tif 000008
（６）
ここで、ｌは式（７）を、Fは式（８）をそれぞれ満たす。
【数７】
2005182449.tif 000009
（７）
ここで、Kは出力層のニューロンの数を、Pを事例の総数を、σは事例の集合の分散を示している。また、E(W)は事例に対するニューラルネットワークの出力と事例との２乗誤差和を示している。
【数８】
2005182449.tif 000010
（８）
ここで、Mは入力層のニューロンの数を示しており、式（８）の右側第１項はネットワークにおいて存在するニューロンの結合数を示し、式（８）の右側第２項は各ニューロンにおけるパラメタの数を示している。
【００４２】
上述の評価式をもとに、遺伝的アルゴリズムにより最適なネットワークの構造を探索し、そのネットワーク構造を用いて、与えられた事例に対してニューラルネットワークの学習を行うことで、どのような事例の集合に対しても精度の高い分類能力をもつニューラルネットワークの学習が行える。
【００４３】
前提知識をシステムに与えることなく、データベース空間を学習したニューラルネットワークから、人間が見て理解できる表現方法である、IF-THENルールとして知識を獲得するシステムでは、（1）図７に示すような、分類された訓練事例から既知の知識を獲得する方法と、（2）図９に示すような、全訓練パタンを与えてデータベース空間に存在する可能性のある知識を獲得する方法の２種類の方法がある。
【００４４】
図７の分類された訓練事例から既知の知識を獲得する方法について、ステップ７１からステップ７６で説明する。
【００４５】
ステップ７１：分類された訓練事例を格納するデータベース（Ｆ４）の１個が、事例の集合１グループを構成するとし、各グループから１個の事例を読む。
【００４６】
ステップ７２：グループ内の訓練事例の総数Nのうち、入力ベクトルの成分iが発火している（たとえば、事例の区間が[０，１]であれば１とする。）割合をＰiとする。
【００４７】
ステップ７３：閾値ｃよりも大きい割合Piをもつ成分iに対し、Ｐiの大きい順に成分を列挙した前件部をもつIF-THENルールを作成する。このとき、前件部をファジィ言語的真理値として表する場合は、Ｐiを図８の変換表を用いて表現する。
【００４８】
ステップ７４：ステップ７３において作成されたIF-THENルールの後件部は、分類されたグループに対応するダーウィン型ニューラルネットワークに、事例を与え、前向き計算で得られる出力活性値をあてる。前件部と同じように、後件部をファジィ言語的真理値として表する場合は、出力活性値を図８の変換表を用いて表現する。
【００４９】
ステップ７５：閾値ｃよりも大きい割合Piを持つ成分から、すべてのIF-THENルールを作成するまで、ステップ７３からステップ７４を繰り返す。
【００５０】
ステップ７６：すべてのグループが終了するまで、ステップ７１からステップ７５までを繰り返す。
【００５１】
図９の全訓練パタンを与えてデータベース空間を網羅する知識を獲得する方法の詳細をステップ８１からステップ９０で説明する。
【００５２】
ステップ８１：入力ベクトルの各成分を｛０，１｝とし、それらの取り得る組み合わせから、｛０，１｝で構成される入力パタンを１個作成する。
【００５３】
ステップ８２：ステップ８１で作成した入力パタンを、学習後の格子構造ニューラルネットワークの下部分（Ｆ３）に入力する。
【００５４】
ステップ８３：格子構造ニューラルネットワークの下部分（Ｆ３）の中間層において、出力活性値が最大をとるニューロンが構成するグループに割り当てる。
【００５５】
ステップ８４：すべての取り得る入力パタンの組み合わせに対し、ステップ８１からステップ８３までを繰り返す。
【００５６】
ステップ８５：分類された訓練事例の各グループから１個の事例を読む。
【００５７】
ステップ８６：グループ内の訓練事例の総数Nのうち、入力ベクトルの成分iが発火している（たとえば、事例の区間が[０，１]であれば１とする。）割合をＰiとする。
【００５８】
ステップ８７：閾値ｃよりも大きい割合Piをもつ成分iに対し、Ｐiの大きい順に成分を列挙した前件部をもつIF-THENルールを作成する。このとき、前件部をファジィ言語的真理値として表する場合は、Ｐiを図８の変換表を用いて表現する。
【００５９】
ステップ８８：ステップ８７において作成されたIF-THENルールの後件部は、分類されたグループに対応するダーウィン型ニューラルネットワークに、事例を与え、前向き計算で得られる出力活性値をあてる。前件部と同じように、後件部をファジィ言語的真理値として表する場合は、出力活性値を図８の変換表を用いて表現する。
【００６０】
ステップ８９：閾値ｃよりも大きい割合Piを持つ成分から、すべてのIF-THENルールを作成するまで、ステップ８７からステップ８８を繰り返す。
【００６１】
ステップ９０：すべてのグループが終了するまで、ステップ８５からステップ８９までを繰り返す。
【００６２】
データベース空間がインターネットなどに接続され、自動で事例を収集できるシステムにおいて、新しい事例が追加された場合、その事例を含めたデータベース空間において、平均二乗誤差がε以下になるか、または規定回数T回に到達するまで学習を行うことで、つねに最新のデータベースに対応したニューラルネットワークが構築されている。
【００６３】
本発明によるニューラルネットワークの学習手段により、実施例としてベンチマーク問題として公開されているＭｏｎｋ‘ｓ  Ｐｒｏｂｌｅｍ（Ｓ．Ｂ．Ｔｈｒｕｎ  ｅｔ  ａｌ．，“Ｔｈｅ  ＭＯＮＫ’ｓ  ｐｒｏｂｌｅｍｓ  −  ａ  ｐｅｒｆｏｒｍａｎｃｅ  ｃｏｍａｐａｒｉｓｏｎ  ｄｉｆｆｅｒｅｎｔ  ｌｅａｒｎｉｎｇ  ａｌｇｏｒｉｔｈｍｓ”，Ｔｅｃｈｎｉｃａｌ  ｒｅｐｏｒｔ  ＣＭＵ−ＣＳ−９１−９７，  Ｃａｒｎｅｇｉｅ  Ｍｅｌｌｏｎ  Ｕｎｉｖｅｒｓｉｔｙ，１９９１）と、医療情報であるICUデータベースに適用した。
【００６４】
Ｍｏｎｋ‘ｓ  Ｐｒｏｂｌｅｍは、６つの異なる属性を持つロボットの分類問題であり、各属性値には図１０に示すような要素があり、これらの６個の属性値の組み合わせによって表現可能なロボットを２個のグループに分類するものである。
【００６５】
格子構造ニューラルネットワークの学習によって、中間層は図１１に示すような９×９の格子状となり、そのうち二重丸で示す４個が各グループを構成するニューロンとなった。また、学習後のシステムでは、任意の事例に対し、１００％の正答率をもつ分類器が構成されていた。
【００６６】
４個に分割された訓練事例に対して知識獲得を行った結果、Ｍｏｎｋ‘ｓ  Ｐｒｏｂｌｅｍに対する解として有効なＩＦ−ＴＨＥＮルールが図１２のように獲得された。
【００６７】
IＣＵデータベースはIＣＵ入室患者データを収集したものであり、図１３に示す入力項目をもち、出力は生存、死亡の２値から構成される約10，000個の事例により構成されるデータベースである。
【００６８】
格子構造ニューラルネットワークの学習によって、中間層は図１４に示すような１５×１５の格子状となり、そのうち二重丸で示す２０個が、各グループを構成するニューロンとなった。また、学習後のシステムでは、任意の事例に対して、ほぼ１００％の正答率をもつ分類器が構成されていた。
【００６９】
２０個に分割された訓練事例に対して知識獲得を行った結果、ＩＣＵに対する診断知識として有効なルールが図１５のように獲得された。
【産業上の利用可能性】
【００７０】
インターネットやＬＡＮなどに接続され、データを自動収集可能なデータベースにおいて、そのデータの特徴を自動判別する診断システムなどのエキスパートの推論エンジンとして利用できるだけでなく、収集されたデータの特徴を人間が理解できる形式をもった知識を提供することが可能である。
【図面の簡単な説明】
【００７１】
【図１】格子構造ニューラルネットワークの概観図
【図２】ダーウィン型ニューラルネットワークの概観図
【図３】本発明の一実施例の構成図
【図４】ニューロン生成／消去の過程
【図５】ニューラルネットワークの遺伝子型表現
【図６】パラメタの取り得る値の範囲
【図７】分類された訓練事例から既知の知識を獲得する方法
【図８】ファジィ言語的真理値への変換表
【図９】全訓練パタンを与えて知識を獲得する方法
【図１０】Ｍｏｎｋ‘ｓ  Ｐｒｏｂｌｅｍの属性値
【図１１】Ｍｏｎｋ‘ｓ  Ｐｒｏｂｌｅｍを学習後、格子構造ニューラルネットワークの中間層ニューロンの配置
【図１２】Ｍｏｎｋ‘ｓ  Ｐｒｏｂｌｅｍを学習後、獲得されたIF-THENルール
【図１３】ＩＣＵデータベースの属性値
【図１４】ＩＣＵデータベースを学習後、格子構造ニューラルネットワークの中間層ニューロンの配置
【図１５】ＩＣＵデータベースを学習後、獲得されたIF-THENルール
【図１６】従来の階層型ニューラルネットワークの構造
【図１７】従来のニューラルネットワークの学習方法
【図１８】従来の診断支援システム
【符号の説明】
【００７２】
Ｆ１  事例を格納したデータベース
Ｆ２  格子構造ニューラルネットワーク
Ｆ３  学習後の格子構造ニューラルネットワーク
Ｆ４  分割した訓練事例を格納するデータベース
Ｆ５  ダーウィン型ニューラルネットワーク
１１  格子構造ニューラルネットワークの入力層
１２  格子構造ニューラルネットワークの中間層
１３  格子構造ニューラルネットワークの出力層
６１  ニューロン生成方法１
６２  ニューロン生成方法２
６３  ニューロン消去方法
１０１  入力層
１０２  出力層
１０３  中間層
【図１】
2005182449.tif 000011
【図３】
2005182449.tif 000012
【図５】
2005182449.tif 000013
【図６】
2005182449.tif 000014
【図７】
2005182449.tif 000015
【図８】
2005182449.tif 000016
【図９】
2005182449.tif 000017
【図１０】
2005182449.tif 000018
【図１２】
2005182449.tif 000019
【図１３】
2005182449.tif 000020
【図１５】
2005182449.tif 000021
【図１６】
2005182449.tif 000022
【図１７】
2005182449.tif 000023
【図１８】
2005182449.tif 000024
【図２】
2005182449.tif 000025
【図４】
2005182449.tif 000026
【図１１】
2005182449.tif 000027
【図１４】
2005182449.tif 000028