(57)【要約】本発明は、ルールベースを生成するためにオンラインファジー推論ネットワークを訓練するための改善された方法とシステムおよびそれによって生成されるルールベースを提供する。ネットワークの性能を入力次元数と分けて扱うような方法で、学習ルールをチューニングし、ファジー推論ネットワークによって生成されたファジールールに適用することにより、本発明は、車両内乗員認識、天気予報および経済予測などの、多数の次元の使用を必要とする問題における高次元データの分類のために有効となるように、ＳＯＮＦＩＮなどのファジー推論ネットワークを適応させることができる。【選択図】図４
2004532467.tif 000002
【特許請求の範囲】
【請求項１】
オンライン学習ファジー推論ネットワークを用いてデータの分類のためのオンライン学習ファジー推論ネットワークを生成する改善された方法であって、該ファジー推論ネットワークはファジールールのルールベースを生成するために訓練され、各ファジールールはクラスラベルに割り当てられ、各ファジールールは前記データの一つの次元に対応する少なくとも一つのメンバーシップ関数を含み、各メンバーシップ関数はメンバーシップ関数パラメータを含み、前記ファジールールは入力データをメンバーシップに分類するために用いられ、既知の分類メンバーシップを有するテストデータが該ファジー推論ネットワークに与えられ、該ファジー推論ネットワークは前記ファジールールを用いて、ファイアされる各ファジールールは前記テストデータに対するその適合性に基づいてファイアリング強度が割り当てられるようにして前記ファジールールをファイアするとともに、最大ファイアリング強度を有するファジールールを決定することによって、前記テストデータのための分類メンバーシップを生成し、最大ファイアリング強度を有するルールのメンバーシップ関数は、分類誤差を決定するために、前記テストデータの既知の分類メンバーシップと比較され、前記改善が、
ａ．ファイアリング頻度数を格納すると共に、ファジールールがファイアされた回数を示す、各ファジールールに対するファイアリング頻度数をインクリメントすることと、
ｂ．最大ファイアリング強度を有するファジールールのファイアリング強度が所定の閾値より大きいかどうかを判定することと、
ｃ．最大ファイアリング強度を有するファジールールのファイアリング強度が前記閾値より大きい場合に、そのファジールールを前記分類誤差に基づいてチューニングすることと、
ｄ．最大ファイアリング強度を有するファジールールのファイアリング強度が前記閾値より大きくない場合に、最大ファイアリング強度を有するファジールールによって生成された分類メンバーシップが、前記テストデータの既知の分類メンバーシップと正確に一致するかどうかを判定することと、
i．最大ファイアリング強度を有するファジールールによって生成された分類メンバーシップが、前記テストデータの既知の分類メンバーシップと正確に一致しない場合に、そのファジールールをステップｃにおけるように前記分類誤差に基づいてチューニングすることと、
ii．最大ファイアリング強度を有するファジールールによって生成された分類メンバーシップが、前記テストデータの既知の分類メンバーシップと正確に一致する場合に、学習ルールを適用して、前記分類誤差が高次元分類タスクに対して最小となるように前記メンバーシップ関数パラメータを更新することと、
を含む方法。
【請求項２】
請求項１の方法によって生成されるルールベース。
【請求項３】
前記改善のチューニングステップｃが、
i．ファジー類似性基準を適用して、前記テストデータの各次元方向のメンバーシップ関数を前記テストデータと比較するサブステップと、
ii．前記ファジー類似性基準が満たされない次元方向の新規メンバーシップ関数を追加するサブステップと、
iii．新規メンバーシップ関数と前記ファジー類似性基準を満たしたメンバーシップ関数とを含む新規ファジールールを生成するサブステップと、
iv．前記新規ルールを前記ルールベースに追加するサブステップと、
をさらに含む請求項１に記載のオンライン学習ファジー推論ネットワークを用いてデータの分類のためのオンライン学習ファジー推論ネットワークを生成する改善された方法。
【請求項４】
前記改善のチューニングステップｃが、
i．各新規メンバーシップ関数に、それぞれの新規メンバーシップ関数に対応する次元に対応するテストデータの値に等しい平均値を割り当てるサブステップと、
ii．新規ファジールールのためのファイアリング頻度数をインクリメントするサブステップと、
iii．ルールがファイアされたテストデータの分類メンバーシップと合致する新規ファジールールに分類メンバーシップを割り当てるサブステップと、
をさらに含む請求項３に記載のオンライン学習ファジー推論ネットワークを用いてデータの分類のためのオンライン学習ファジー推論ネットワークを生成する改善された方法。
【請求項５】
請求項４の方法によって生成されるルールベース。
【請求項６】
前記メンバーシップ関数が、ガウシアンメンバーシップ関数と、三角形メンバーシップ関数と、台形メンバーシップ関数とからなるグループから選択される請求項４に記載のオンライン学習ファジー推論ネットワークを用いてデータの分類のためのオンライン学習ファジー推論ネットワークを生成する改善された方法。
【請求項７】
前記メンバーシップ関数はガウシアンメンバーシップ関数であり、各ガウシアンメンバーシップ関数のメンバーシップ関数パラメータが平均値と分散を含み、ステップｄ（ii）の場合に適用される学習ルールは、最大ファイアリング強度を有するファジールールのガウシアンメンバーシップ関数の平均値と分散を下記の式に従って更新し、
【数１】
2004532467.tif 000018
【数２】
2004532467.tif 000019
ここで、μ*はガウシアンメンバーシップ関数の更新された平均値を表し、σ*はガウシアンメンバーシップ関数の更新された分散を表し、μはガウシアンメンバーシップ関数の更新されていない平均値を表し、σはガウシアンメンバーシップ関数の更新されていない分散を表し、｜ｅ｜はガウシアンメンバーシップ関数に対する分類誤差を表し、ｘはガウシアンメンバーシップ関数に対応する次元に対するテストデータの特定値を表し、ｆは学習ルールが適用される特定のファジールールに対するファイアリング頻度を表す請求項４に記載のオンライン学習ファジー推論ネットワークを用いてデータの分類のためのオンライン学習ファジー推論ネットワークを生成する改善された方法。
【請求項８】
前記メンバーシップ関数はガウシアンメンバーシップ関数であり、各ガウシアンメンバーシップ関数のメンバーシップ関数パラメータが平均値と分散を含み、ステップｄ（ii）の場合に適用される学習ルールは、最大ファイアリング強度を有するファジールールのガウシアンメンバーシップ関数の平均値と分散を下記の式に従って更新し、
【数３】
2004532467.tif 000020
【数４】
2004532467.tif 000021
ここで、μ*はガウシアンメンバーシップ関数の更新された平均値を表し、σ*はガウシアンメンバーシップ関数の更新された分散を表し、μはガウシアンメンバーシップ関数の更新されていない平均値を表し、σはガウシアンメンバーシップ関数の更新されていない分散を表し、｜ｅ｜はガウシアンメンバーシップ関数に対する分類誤差を表し、ｘはガウシアンメンバーシップ関数に対応する次元に対するテストデータの特定値を表し、ｆは学習ルールが適用される特定のファジールールに対するファイアリング頻度を表す請求項１に記載のオンライン学習ファジー推論ネットワークを用いてデータの分類のためのオンライン学習ファジー推論ネットワークを生成する改善された方法。
【請求項９】
請求項８の方法によって生成されるルールベース。
【請求項１０】
データの分類のためのオンライン学習ファジー推論ネットワークを生成する改善された方法であって、
ａ．オンライン学習ファジー推論ネットワークを提供するステップであって、該ファジー推論ネットワークがファジールールのルールベースを生成し、各ファジールールはクラスラベルに割り当てられ、各ファジールールは前記データの一つの次元に対応する少なくとも一つのメンバーシップ関数を含み、各メンバーシップ関数はメンバーシップ関数パラメータを含み、前記ファジールールは入力データをメンバーシップに分類するために用いられ、既知の分類メンバーシップを有するテストデータが該ファジー推論ネットワークに与えられ、該ファジー推論ネットワークは前記ファジールールを用いて、ファイアされる各ファジールールは前記テストデータに対するその適合性に基づいてファイアリング強度が割り当てられるようにして前記ファジールールをファイアするとともに、最大ファイアリング強度を有するファジールールを決定することによって、前記テストデータのための分類メンバーシップを生成し、最大ファイアリング強度を有するルールのメンバーシップ関数は、分類誤差を決定するために、前記テストデータの既知の分類メンバーシップと比較され、各ファジールールのファイアリング頻度数が格納される、オンライン学習ファジー推論ネットワークを提供するステップを含み、前記改善が、
ｂ．最大ファイアリング強度を有するファジールールのファイアリング強度が所定の閾値より大きいかどうかを判定することと、
ｃ．最大ファイアリング強度を有するファジールールのファイアリング強度が前記閾値より大きい場合に、そのファジールールを前記分類誤差に基づいてチューニングすることと、
ｄ．最大ファイアリング強度を有するファジールールのファイアリング強度が前記閾値より大きくない場合に、最大ファイアリング強度を有するファジールールによって生成された分類メンバーシップが、前記テストデータの既知の分類メンバーシップと正確に一致するかどうかを判定することと、
i．最大ファイアリング強度を有するファジールールによって生成された分類メンバーシップが、前記テストデータの既知の分類メンバーシップと正確に一致しない場合に、そのファジールールをｃで示した場合に提供されるように前記分類誤差に基づいてチューニングすることと、
ii．最大ファイアリング強度を有するファジールールによって生成された分類メンバーシップが、前記テストデータの既知の分類メンバーシップと正確に一致する場合に、学習ルールを適用して、前記分類誤差が高次元分類タスクに対して最小となるように前記メンバーシップ関数パラメータを更新することと、
を含む方法。
【請求項１１】
ファジールールのルールベースを生成するファジー推論ネットワークを有する、データのオンライン分類のためのファジー推論ネットワークのための改善された訓練システムであって、各ファジールールはクラスラベルに割り当てられ、各ファジールールは前記データの一つの次元に対応する少なくとも一つのメンバーシップ関数を含み、各メンバーシップ関数はメンバーシップ関数パラメータを含み、前記ファジールールは入力データをメンバーシップに分類するために用いられ、既知の分類メンバーシップを有するテストデータが該ファジー推論ネットワークに与えられ、該ファジー推論ネットワークは前記ファジールールを用いて、ファイアされる各ファジールールは前記テストデータに対するその適合性に基づいてファイアリング強度が割り当てられるようにして前記ファジールールをファイアするとともに、最大ファイアリング強度を有するファジールールを決定することによって、前記テストデータのための分類メンバーシップを生成し、最大ファイアリング強度を有するルールのメンバーシップ関数は、分類誤差を決定するために、前記テストデータの既知の分類メンバーシップと比較され、前記改善が、各ファジールールに対して計算され該ファジールールがファイアされるたびごとにインクリメントされる、処理デバイスに格納されるファイアリング頻度数を備えたこと、ならびに、ファジールールと、分類誤差と、最大ファイアリング強度を有するファジールールによって生成されたファイアリング強度、ファイアリング頻度数、および分類メンバーシップと、テストデータと、テストデータに対する既知の分類メンバーシップとを受信するために、前記ファジー推論ネットワークと接続されたルールチューニング学習ルール適用プロセッサを備えたことにあり、前記プロセッサは、最大ファイアリング強度を有するファジールールのファイアリング強度が所定の閾値より大きいかどうかを判定し、
ａ．最大ファイアリング強度を有するファジールールのファイアリング強度が前記閾値より大きい場合に、そのファジールールを前記分類誤差に基づいてチューニングし、
ｂ．最大ファイアリング強度を有するファジールールのファイアリング強度が前記閾値より大きくない場合に、最大ファイアリング強度を有するファジールールによって生成された分類メンバーシップが、前記テストデータの既知の分類メンバーシップと正確に一致するかどうかを判定し、
i．最大ファイアリング強度を有するファジールールによって生成された分類メンバーシップが、前記テストデータの既知の分類メンバーシップと正確に一致しない場合に、そのファジールールを前記分類誤差に基づいてチューニングし、
ii．最大ファイアリング強度を有するファジールールによって生成された分類メンバーシップが、前記テストデータの既知の分類メンバーシップと正確に一致する場合に、学習ルールを適用して、前記分類誤差が高次元分類タスクに対して最小となるように前記メンバーシップ関数パラメータを更新する、
ように動作するデータのオンライン分類のためのファジー推論ネットワークのための改善された訓練システム。
【請求項１２】
請求項１１の訓練システムによって生成されるルールベース。
【請求項１３】
前記ルールチューニング学習ルール適用プロセッサがさらに、
ａ．ファジー類似性基準を適用して、前記テストデータの各次元方向のメンバーシップ関数を前記テストデータと比較し、
ｂ．前記ファジー類似性基準が満たされない次元方向の新規メンバーシップ関数を追加し、
ｃ．新規メンバーシップ関数と前記ファジー類似性基準を満たしたメンバーシップ関数とを含む新規ファジールールを生成し、
ｄ．前記新規ルールを前記ルールベースに追加する、
ように動作する請求項１１に記載のデータのオンライン分類のためのファジー推論ネットワークのための改善された訓練システム。
【請求項１４】
前記ルールチューニング学習ルール適用プロセッサがさらに、
ａ．各新規メンバーシップ関数に、それぞれの新規メンバーシップ関数に対応する次元に対応するテストデータの値に等しい平均値を割り当て、
ｂ．新規ファジールールのためのファイアリング頻度数をインクリメントし、
ｃ．ルールがファイアされたテストデータの分類メンバーシップと合致する新規ファジールールに分類メンバーシップを割り当てる、
ように動作する請求項１３に記載のデータのオンライン分類のためのファジー推論ネットワークのための改善された訓練システム。
【請求項１５】
前記メンバーシップ関数が、ガウシアンメンバーシップ関数と、三角形メンバーシップ関数と、台形メンバーシップ関数とからなるグループから選択される請求項１４に記載のデータのオンライン分類のためのファジー推論ネットワークのための改善された訓練システム。
【請求項１６】
前記メンバーシップ関数はガウシアンメンバーシップ関数であり、各ガウシアンメンバーシップ関数のメンバーシップ関数パラメータが平均値と分散を含み、適用される学習ルールは、最大ファイアリング強度を有するファジールールのガウシアンメンバーシップ関数の平均値と分散を下記の式に従って更新し、
【数５】
2004532467.tif 000022
【数６】
2004532467.tif 000023
ここで、μ*はガウシアンメンバーシップ関数の更新された平均値を表し、σ*はガウシアンメンバーシップ関数の更新された分散を表し、μはガウシアンメンバーシップ関数の更新されていない平均値を表し、σはガウシアンメンバーシップ関数の更新されていない分散を表し、｜ｅ｜はガウシアンメンバーシップ関数に対する分類誤差を表し、ｘはガウシアンメンバーシップ関数に対応する次元に対するテストデータの特定値を表し、ｆは学習ルールが適用される特定のファジールールに対するファイアリング頻度を表す請求項１４に記載のデータのオンライン分類のためのファジー推論ネットワークのための改善された訓練システム。
【請求項１７】
前記メンバーシップ関数はガウシアンメンバーシップ関数であり、各ガウシアンメンバーシップ関数のメンバーシップ関数パラメータが平均値と分散を含み、前記学習ルールは、最大ファイアリング強度を有するファジールールのガウシアンメンバーシップ関数の平均値と分散を下記の式に従って更新し、
【数７】
2004532467.tif 000024
【数８】
2004532467.tif 000025
ここで、μ*はガウシアンメンバーシップ関数の更新された平均値を表し、σ*はガウシアンメンバーシップ関数の更新された分散を表し、μはガウシアンメンバーシップ関数の更新されていない平均値を表し、σはガウシアンメンバーシップ関数の更新されていない分散を表し、｜ｅ｜はガウシアンメンバーシップ関数に対する分類誤差を表し、ｘはガウシアンメンバーシップ関数に対応する次元に対するテストデータの特定値を表し、ｆは学習ルールが適用される特定のファジールールに対するファイアリング頻度を表す請求項１１に記載のデータのオンライン分類のためのファジー推論ネットワークのための改善された訓練システム。
【請求項１８】
請求項１７の訓練システムによって生成されるルールベース。
【請求項１９】
データのオンライン分類のためのファジー推論ネットワークのための改善された訓練システムであって、
ａ．オンライン学習ファジー推論ネットワークであって、該ファジー推論ネットワークはファジールールのルールベースを生成し、各ファジールールはクラスラベルに割り当てられ、各ファジールールは前記データの一つの次元に対応する少なくとも一つのメンバーシップ関数を含み、各メンバーシップ関数はメンバーシップ関数パラメータを含み、ファジールールは入力データをメンバーシップに分類するために用いられ、既知の分類メンバーシップを有するテストデータが該ファジー推論ネットワークに与えられ、該ファジー推論ネットワークは前記ファジールールを用いて、ファイアされる各ファジールールは前記テストデータに対するその適合性に基づいてファイアリング強度が割り当てられるようにして前記ファジールールをファイアするとともに、最大ファイアリング強度を有するファジールールを決定することによって、前記テストデータのための分類メンバーシップを生成し、最大ファイアリング強度を有するルールのメンバーシップ関数は、分類誤差を決定するために、前記テストデータの既知の分類メンバーシップと比較され、各ファジールールのファイアリング頻度数が格納される、オンライン学習ファジー推論ネットワークと、
ｂ．ファジールールと、分類誤差と、最大ファイアリング強度を有するファジールールによって生成されたファイアリング強度、ファイアリング頻度数、および分類メンバーシップと、テストデータと、テストデータに対する既知の分類メンバーシップとを受信するために、前記ファジー推論ネットワークと接続されたルールチューニング学習ルール適用プロセッサとを備え、前記プロセッサは、最大ファイアリング強度を有するファジールールのファイアリング強度が所定の閾値より大きいかどうかを判定し、
i．最大ファイアリング強度を有するファジールールのファイアリング強度が前記閾値より大きい場合に、そのファジールールを前記分類誤差に基づいてチューニングし、
ii．最大ファイアリング強度を有するファジールールのファイアリング強度が前記閾値より大きくない場合に、最大ファイアリング強度を有するファジールールによって生成された分類メンバーシップが、前記テストデータの既知の分類メンバーシップと正確に一致するかどうかを判定し、
ａ．最大ファイアリング強度を有するファジールールによって生成された分類メンバーシップが、前記テストデータの既知の分類メンバーシップと正確に一致しない場合に、そのファジールールを前記分類誤差に基づいてチューニングし、
ｂ．最大ファイアリング強度を有するファジールールによって生成された分類メンバーシップが、前記テストデータの既知の分類メンバーシップと正確に一致する場合に、学習ルールを適用して、前記分類誤差が高次元分類タスクに対して最小となるように前記メンバーシップ関数パラメータを更新する、
データのオンライン分類のためのファジー推論ネットワークのための改善された訓練システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にデータ処理システムと方法に関し、より詳しくは、正確、コンパクトで、わかり易く、有意義な一組のルールが抽出できる、人工的なニューラルネットワークにより生成されるファジーエキスパートシステムの生成に関する。
【発明の開示】
【発明が解決しようとする課題】
【０００２】
人工的なニューラルネットワークなどの、オンライン学習に基づく分類アルゴリズムは、入力とそれに対応する分類ラベルとの間の関係を増分的に抽象することができる。より多くの入出力マッピング点がサンプリングされるほど、このアルゴリズムは、種々のクラスを非線形的に分離する決定境界を生成することができる。オンライン学習アルゴリズムの一つの重要なクラスは適応型共鳴理論（ＡＲＴ）をベースにしている。
【０００３】
ＡＲＴをベースにした学習システムは、オンライン学習と、バイナリ入力とアナログ入力の両方についての分類とが可能である。ファジーＡＲＴＭＡＰ、ＰＲＯＢＡＲＴ、ガウシアンＡＲＴＭＡＰなどのＡＲＴシステムのいくつかの変形が文献の中に見ることができる。これらのシステムはオンライン管理された学習が可能である。
【０００４】
これらのアルゴリズムの主な欠点は、訓練データ中のノイズの影響を受けやすいため、分類のための極めて多数のルールを生成することにある。ノイズの影響を最小限にするためのみならず、予測精度と、分類に必要なルール数との間の比率を改善するための技術を開発する努力がなされてきた。ノイズの影響を受けやすいことに加えて、ＡＲＴをベースにした学習システムは、ファジー推論形式に変換できるルールを抽出するために数段階のステップが追加されなければならないために、ハードウェアでの実現が容易ではない。
【０００５】
このため、ＡＲＴをベースにした学習システムは一般にソフトウェアとして実現される。このソフトウェアはアナログのハードウェアシステムよりもかなり低速度である。このことはまた、これらのアルゴリズムが多数の分類ルールを生成しやすいという事実によって一層ひどくなる。
【０００６】
オンライン学習アルゴリズムのもう一つのクラスは、ファジー論理推論ネットワークのパラメータをチューニングすることによるファジールールの形式での知識の抽出をベースにしている。従来、ファジーシステムは、ドメインエキスパートの知識に基づいて導き出される一組のファジーIF-THENルールから成り立っている。そして新規入力に対する出力についての推論は、ファジー推論ネットワークを用いて、このルールに基づいて行われる。
【０００７】
しかしながら、この方法は、エキスパートによるシステムの発見的観察をベースにして適切なルールを抽出するようになっている。この欠点を克服するために、システムから観察される数値データから直接にファジーIF-THENルールを導くことを目的としたいくつかの方法がある。主として、これらの方法は、数値データからのオフライン方式でのファジーシステムパラメータの最適化に依存してファジールールを得るようになっている。従って、これらのシステムは増分学習ができない。
【０００８】
学習システムのもう一つのクラスはファジー推論ネットワークであり、その一例は自己構築型ファジー推論ネットワーク（ＳＯＮＦＩＮ）である。ＳＯＮＦＩＮは、自己組織化されたオンライン的な方法で、数値データからファジールールベースを導くことができる。ＳＯＮＦＩＮアーキテクチャはファジー推論システムに基づいて設計されるので、そのネットワークは任意の時間にそのルールベースに基づいて任意の入力データについての推論を行うことができる。
【０００９】
このことはＳＯＮＦＩＮを、環境がダイナミックに変化するにもかかわらず、ファジールールの形式でシステムから知識を抽象する必要性がある、多くのリアルタイムアプリケーションのための魅力的なネットワークにする。ＳＯＮＦＩＮは、低次元入力データの分類／機能マッピングのために非常によく機能する。
【００１０】
しかしながら、入力空間の次元が増加する場合（例えば、入力特徴の数が１０を越える場合）は、このアルゴリズムは、学習にとっては、学習ルールに関する問題のために、有効ではない。適切な学習を実行することができないことは、本質的に、ＳＯＮＦＩＮを貧弱なクラスタリングアルゴリズムに換えるので、学習・予測能力を貧弱にするのみならず、ファジールールの数を多くする。
【００１１】
ＳＯＮＦＩＮの動作を表すフローチャートを図１に示す。このフローチャートの一部分は一般的なファジー推論ネットワーク１００を表している。ＳＯＮＦＩＮはオンライン学習を行うために必要な適合性を備えている。入力ステップ１０２において、Ｎ次元の入力パターンがファジー推論ネットワーク１００に与えられる。ファジー推論ネットワーク１００はそれからメンバーシップ値計算ステップ１０４において、各ルールに対して各入力次元に対するメンバーシップ値を計算する。
【００１２】
ファイアリング強度チェックステップ１０６において、ルールのファイアリング強度が入力に基づいて決定され、チェックされて、それが所定の閾値より大きいかどうかが判定される。ファイアリング強度がその閾値より大きい場合、ファジー推論ネットワーク１００は、正規化ステップ１０８において、ルールに対する正規化されたルール強度を計算する。ファジー推論ネットワーク１００はそれから非ファジー化ステップ１１０において重心非ファジー化法を用いて出力を計算する。訓練されたネットワークの定常状態動作においては、非ファジー化ステップ１１０の結果がファジー推論ネットワーク１００の出力である。
【００１３】
ＳＯＮＦＩＮにおいては、逆伝搬ステップ１１２において、ファジー推論ネットワーク１００の出力が逆伝搬アルゴリズムに与えられ、そのアルゴリズムによりルールパラメータが更新される。さらに入力があるかどうかを判定するためにチェックが行われ、このサイクルが再び開始する。ルールのファイアリング強度が閾値よりも小さく、ルールがファジー類似性基準を満足しないならば、ルール生成ステップ１１４において、新規ルールが、各入力次元方向の新規メンバーシップ関数とともに生成される。
【００１４】
ＳＯＮＦＩＮは、自己組織化されたオンライン学習システムを提供するけれども、その性能が入力次元数に依存するという大きな欠点がある。従って、ＳＯＮＦＩＮは、車両乗員検出、天気予報、および株価分析／経済予測などのアプリケーションにおいて発生する高次元データのオンライン分類には事実上有効ではない。
【００１５】
それゆえ、性能が入力次元数に影響されない自己組織化されたオンライン学習システムを提供することが望ましい。そのようなシステムは、その学習された知識をファジールールの形式で解明することができるので、遅延なくそのルールを用いて新規データによって評価することができ、従って、学習システムを発展させる間、かなりの時間とデータ収集労力を節約することができる。
【００１６】
もう一つの利点は、入力次元数の増加が特徴数を増加させる場合には、ネットワークのパラメータを巧みに作る必要がなく、しかも学習システムがその学習能力において悪化しないことにある。従って、学習システムが種々の分類方法を評価するのに一層強力かつ柔軟となる。
【００１７】
高次元問題を含む、ニューラルネットワークと分類におけるその使用に関する参考文献としては以下のものがある。
【００１８】
１．Juang, C. F., and Lin, C. T., "An On-Line Self-Constructing Neural Fuzzy Inference Network and Its Application"（オンライン自己構築型ニューラルファジー推論ネットワークとその応用）, IEEE Transactions on Fuzzy Systems, vol.6, no.1, pp.12-32, February 1998。
【００１９】
２．Carpenter, G. A., and Grossberg, S., "The ART of adaptive pattern recognition by a self-organizing neural network"（自己組織化ニューラルネットワークによる適応型パターン認識のART）, "Computer, vol.21, pp.77-88, 1988。
【００２０】
３．Carpenter, G. A., Grossberg, S., Markuzon, N., Reynolds, J. H., Rosen, D. B., "Fuzzy ARTMAP: A Neural Network Architecture for Incremental Supervised Learning of Analog Multidimensional Maps"（ファジーARTMAP：アナログ多次元マップの増分監視学習のためのニューラルネットワークアーキテクチャ）, IEEE Transactions on Neural Networks, vol.3, no.5, pp.698-712, September 1992。
【００２１】
４．Marriott S., and Harrison, R. F., "A modified fuzzy ARTMAP architecture for approximation of noisy mappings"（ノイジーマッピングの近似のための変形ファジーARTMAPアーキテクチャ）, Neural Networks, vol.2, pp.359-366, 1995。
【００２２】
５．Williamson, J. R., "Gaussian ARTMAP: A neural network for fast incremental learning of noisy multidimensional maps"（ガウシアンARTMAP：ノイジー多次元マップの高速増分学習のためのニューラルネットワーク）, Neural Networks, vol.9, pp.881-997, 1996。
【００２３】
６．Srinivasa, N., "Learning and generalization of Noizy Mapping Using a Modified PROBART Neural Network"（変形PROBARTニューラルネットワークを用いたノイジーマッピングの学習と汎化）, IEEE Transactions on Signal Processing, vol.45, no.10, pp.2533-2550, October 1997。
【００２４】
７．Lee, C. C., "Fuzzy Logic in control systems: Fuzzy logic controller - Part II"（制御システムにおけるファジー論理：ファジー論理制御器−パートII）, IEEE Transactions on Systems, Man and Cybernetics, vol.15, pp.419-435, March/April 1990。
【００２５】
８．Jang, J. S., "ANFIS: Adaptive-network-based fuzzy inference system"（ANFIS: 適応型ネットワークをベースにしたファジー推論システム）, IEEE Transactions on Systems, Man and Cybernetics, vol.23, pp.665-685, May 1993。
【００２６】
９．Takagi, T. and Seguno, M., "Fuzzy identification of systems and its applications to modeling and control"（システムのファジー識別およびそのモデル化と制御への適用）, IEEE Transactions on Systems, Man and Cybernetics, vol.15, pp.116-132, Jan. 1985。
【００２７】
１０．Wang, L. X., and Mendel, J. M., "Generating fuzzy rules by learning from examples"（事例からの学習によるファジールールの生成）, IEEE Transactions on Systems, Man and Cybernetics, vol.22, no.6, pp.1414-1427, Nov./Dec. 1992。
【００２８】
１１．Beyer, K., Goldstein, J., Ramakrishnan, R., and Shaft, U., "When is Nearest Neighbor Meaningful?"（最近傍はいつ有意義か）, Proc. Of Seventh International Conference on Database Theory, Jerusalem, Israel, 1999。
【課題を解決するための手段】
【００２９】
本発明は、ルールベースを生成するために訓練されたオンラインファジー推論ネットワークを用いて高次元データの分類のためのオンライン学習推論ネットワークを生成する方法とシステムを提供する。本発明によって生成されるルールベースは、汎用か専用のコンピュータ上で動作するソフトウェアまたはハードウェアのいずれかで具体化することができる。本発明はファジー推論エンジンの性能の依存性を入力データの次元数と分けて扱う。
【００３０】
より具体的には、本発明の一つの実施形態は、オンライン学習ファジー推論ネットワークを用いる、高次元データの改善された分類のための方法であって、該ファジー推論ネットワークはファジールールのルールベースを生成し、各ファジールールはクラスラベルに割り当てられ、各ファジールールは前記データの一つの次元に対応する少なくとも一つのメンバーシップ関数を含み、各メンバーシップ関数はメンバーシップ関数パラメータを含み、ファジールールは入力データをメンバーシップに分類するために用いられ、既知の分類メンバーシップを有するテストデータが該ファジー推論ネットワークに与えられ、該ファジー推論ネットワークは前記ファジールールを用いて、ファイアされる各ファジールールは前記テストデータに対するその適合性に基づいてファイアリング強度が割り当てられるようにして前記ファジールールをファイアするとともに、最大ファイアリング強度を有するファジールールを決定することによって、前記テストデータのための分類メンバーシップを生成し、最大ファイアリング強度を有するルールのメンバーシップ関数は、分類誤差を決定するために、前記テストデータの既知の分類メンバーシップと比較され、各ファジールールのファイアリング頻度数が格納され、前記改善が、
最大ファイアリング強度を有するファジールールのファイアリング強度が所定の閾値より大きいかどうかを判定するステップと、
最大ファイアリング強度を有するファジールールのファイアリング強度が前記閾値より大きい場合に、そのファジールールを前記分類誤差に基づいてチューニングするステップと、
最大ファイアリング強度を有するファジールールのファイアリング強度が前記閾値より大きくない場合に、最大ファイアリング強度を有するファジールールによって生成された分類メンバーシップが、前記テストデータの既知の分類メンバーシップと正確に一致するかどうかを判定するステップと、
最大ファイアリング強度を有するファジールールによって生成された分類メンバーシップが、前記テストデータの既知の分類メンバーシップと正確に一致しない場合に、そのファジールールを前記分類誤差に基づいてチューニングするステップと、
最大ファイアリング強度を有するファジールールによって生成された分類メンバーシップが、前記テストデータの既知の分類メンバーシップと正確に一致する場合に、学習ルールを適用して、前記分類誤差が高次元分類タスクに対して最小となるように前記メンバーシップ関数パラメータを更新するステップと、
を含む方法を提供する。
【００３１】
本発明のもう一つの実施形態においては、オンライン学習ファジー推論を用いる、高次元データの改善された分類のための前記方法のチューニングステップが、
ファジー類似性基準を適用して、前記テストデータの各次元方向のメンバーシップ関数を前記テストデータと比較するサブステップと、
前記ファジー類似性基準が満たされない次元方向の新規メンバーシップ関数を追加するサブステップと、
新規メンバーシップ関数と前記ファジー類似性基準を満たしたメンバーシップ関数とを含む新規ファジールールを生成するサブステップと、
前記新規ルールを前記ルールベースに追加するサブステップと、
をさらに含む。
【００３２】
本発明のさらにもう一つの実施形態においては、オンライン学習ファジー推論ネットワークを用いる、高次元データの改善された分類のための前記方法のチューニングステップが、
各新規メンバーシップ関数に、それぞれの新規メンバーシップ関数に対応する次元に対応するテストデータの値に等しい平均値を割り当てるサブステップと、
新規ファジールールのためのファイアリング頻度数をインクリメントするサブステップと、
ルールがファイアされたテストデータの分類メンバーシップと合致する新規ファジールールに分類メンバーシップを割り当てるサブステップと、
をさらに含む。
【００３３】
本発明に有用なメンバーシップ関数の非限定的な例として、ガウシアンメンバーシップ関数、三角形メンバーシップ関数、および台形メンバーシップ関数があるが、好ましくは、ガウシアンメンバーシップ関数が用いられる。
【００３４】
本発明の方法のもう一つの実施形態においては、メンバーシップ関数はガウシアンメンバーシップ関数であり、各ガウシアンメンバーシップ関数のメンバーシップ関数パラメータが平均値と分散を含み、学習ルールが、最大ファイアリング強度を有するファジールールのガウシアンメンバーシップ関数の平均値と分散を下記の式に従って更新する。
【数１】
2004532467.tif 000003
【数２】
2004532467.tif 000004
ここで、μ*はガウシアンメンバーシップ関数の更新された平均値を表し、σ*はガウシアンメンバーシップ関数の更新された分散を表し、μはガウシアンメンバーシップ関数の更新されていない平均値を表し、σはガウシアンメンバーシップ関数の更新されていない分散を表し、｜ｅ｜はガウシアンメンバーシップ関数に対する分類誤差を表し、ｘはガウシアンメンバーシップ関数に対応する次元に対するテストデータの特定値を表し、ｆは学習ルールが適用される特定のファジールールに対するファイアリング頻度を表す。
【００３５】
本発明の方法のもう一つの実施形態においては、本方法は、オンライン学習ファジー推論ネットワークを提供し、該ファジー推論ネットワークはファジールールのルールベースを生成し、各ファジールールはクラスラベルに割り当てられ、各ファジールールは前記データの一つの次元に対応する少なくとも一つのメンバーシップ関数を含み、各メンバーシップ関数はメンバーシップ関数パラメータを含み、ファジールールは入力データをメンバーシップに分類するために用いられ、既知の分類メンバーシップを有するテストデータが該ファジー推論ネットワークに与えられ、該ファジー推論ネットワークは前記ファジールールを用いて、ファイアされる各ファジールールは前記テストデータに対するその適合性に基づいてファイアリング強度が割り当てられるようにして前記ファジールールをファイアするとともに、最大ファイアリング強度を有するファジールールを決定することによって、前記テストデータのための分類メンバーシップを生成し、最大ファイアリング強度を有するルールのメンバーシップ関数は、分類誤差を決定するために、前記テストデータの既知の分類メンバーシップと比較され、各ファジールールのファイアリング頻度数が格納される。
【００３６】
本発明のシステムは、高次元データのオンライン分類のための改善されたファジー推論ネットワークを提供し、該ファジー推論ネットワークはファジールールのルールベースを生成し、各ファジールールはクラスラベルに割り当てられ、各ファジールールは前記データの一つの次元に対応する少なくとも一つのメンバーシップ関数を含み、各メンバーシップ関数はメンバーシップ関数パラメータを含み、ファジールールは入力データをメンバーシップに分類するために用いられ、既知の分類メンバーシップを有するテストデータが該ファジー推論ネットワークに与えられ、該ファジー推論ネットワークは前記ファジールールを用いて、ファイアされる各ファジールールは前記テストデータに対するその適合性に基づいてファイアリング強度が割り当てられるようにして前記ファジールールをファイアするとともに、最大ファイアリング強度を有するファジールールを決定することによって、前記テストデータのための分類メンバーシップを生成し、最大ファイアリング強度を有するルールのメンバーシップ関数は、分類誤差を決定するために、前記テストデータの既知の分類メンバーシップと比較され、各ファジールールのファイアリング頻度数が格納され、前記改善は、ファジールールと、分類誤差と、最大ファイアリング強度を有するファジールールによって生成されたファイアリング強度、ファイアリング頻度数、および分類メンバーシップと、テストデータと、テストデータに対する既知の分類メンバーシップとを受信するために、前記ファジー推論ネットワークと接続されたルールチューニング学習ルール適用プロセッサを備えたことにあり、前記プロセッサは、最大ファイアリング強度を有するファジールールのファイアリング強度が所定の閾値より大きいかどうかを判定し、
最大ファイアリング強度を有するファジールールのファイアリング強度が前記閾値より大きい場合に、そのファジールールを前記分類誤差に基づいてチューニングし、
最大ファイアリング強度を有するファジールールのファイアリング強度が前記閾値より大きくない場合に、最大ファイアリング強度を有するファジールールによって生成された分類メンバーシップが、前記テストデータの既知の分類メンバーシップと正確に一致するかどうかを判定し、
最大ファイアリング強度を有するファジールールによって生成された分類メンバーシップが、前記テストデータの既知の分類メンバーシップと正確に一致しない場合に、そのファジールールを前記分類誤差に基づいてチューニングし、
最大ファイアリング強度を有するファジールールによって生成された分類メンバーシップが、前記テストデータの既知の分類メンバーシップと正確に一致する場合に、学習ルールを適用して、前記分類誤差が高次元分類タスクに対して最小となるように前記メンバーシップ関数パラメータを更新する、
ように動作する。
【００３７】
本発明のシステムのもう一つの実施形態においては、前記ルールチューニング学習ルール適用プロセッサはさらに、
ファジー類似性基準を適用して、前記テストデータの各次元方向のメンバーシップ関数を前記テストデータと比較し、
前記ファジー類似性基準が満たされない次元方向の新規メンバーシップ関数を追加し、
新規メンバーシップ関数と前記ファジー類似性基準を満たしたメンバーシップ関数とを含む新規ファジールールを生成し、
前記新規ルールを前記ルールベースに追加する、
ように動作する。
【００３８】
本発明のシステムのもう一つの実施形態においては、前記ルールチューニング学習ルール適用プロセッサはさらに、
各新規メンバーシップ関数に、それぞれの新規メンバーシップ関数に対応する次元に対応するテストデータの値に等しい平均値を割り当て、
新規ファジールールのためのファイアリング頻度数をインクリメントし、
ルールがファイアされたテストデータの分類メンバーシップと合致する新規ファジールールに分類メンバーシップを割り当てる、
ように動作する。
【００３９】
本発明のシステムのもう一つの実施形態においては、メンバーシップ関数はガウシアンメンバーシップ関数であり、各ガウシアンメンバーシップ関数のメンバーシップ関数パラメータが平均値と分散を含み、学習ルールが、最大ファイアリング強度を有するファジールールのガウシアンメンバーシップ関数の平均値と分散を下記の式に従って更新する。
【数３】
2004532467.tif 000005
【数４】
2004532467.tif 000006
ここで、μ*はガウシアンメンバーシップ関数の更新された平均値を表し、σ*はガウシアンメンバーシップ関数の更新された分散を表し、μはガウシアンメンバーシップ関数の更新されていない平均値を表し、σはガウシアンメンバーシップ関数の更新されていない分散を表し、｜ｅ｜はガウシアンメンバーシップ関数に対する分類誤差を表し、ｘはガウシアンメンバーシップ関数に対応する次元に対するテストデータの特定値を表し、ｆは学習ルールが適用される特定のファジールールに対するファイアリング頻度を表す。
【００４０】
本発明のもう一つの実施形態においては、前記システムはオンライン学習ファジー推論ネットワークを備え、該ファジー推論ネットワークはファジールールのルールベースを生成し、各ファジールールはクラスラベルに割り当てられ、各ファジールールは前記データの一つの次元に対応する少なくとも一つのメンバーシップ関数を含み、各メンバーシップ関数はメンバーシップ関数パラメータを含み、ファジールールは入力データをメンバーシップに分類するために用いられ、既知の分類メンバーシップを有するテストデータが該ファジー推論ネットワークに与えられ、該ファジー推論ネットワークは前記ファジールールを用いて、ファイアされる各ファジールールは前記テストデータに対するその適合性に基づいてファイアリング強度が割り当てられるようにして前記ファジールールをファイアするとともに、最大ファイアリング強度を有するファジールールを決定することによって、前記テストデータのための分類メンバーシップを生成し、最大ファイアリング強度を有するルールのメンバーシップ関数は、分類誤差を決定するために、前記テストデータの既知の分類メンバーシップと比較され、各ファジールールのファイアリング頻度数が格納される。
【００４１】
本発明は、本発明の方法かシステムのいずれかによって生成されたルールベースをさらに含む。
【発明を実施するための最良の形態】
【００４２】
本発明を典型的な実施形態により添付概略図を参照して説明する。
【００４３】
本発明はエキスパートシステムに関し、より詳しくは、高次元分類問題を処理するために作られたオンラインファジー推論システムに関する。以下の記述は、この分野における通常の技術を有する者が本発明を作りかつ使用できると共にそれを特定のアプリケーションの文脈の中に含めることができるように、提示されている。好ましい実施形態に対する種々の変更のみならず種々のアプリケーションにおけるさまざまな用途が当業者にとって容易に明らかとなるであろうし、ここに規定された一般原理は他の実施形態に適用可能である。従って、本発明は、ここに示された実施形態に限定されるものではなく、ここに開示された原理と新規特徴に矛盾しない最大範囲が与えられるべきである。
【００４４】
（用語）
読者がこの説明の中で用いられる専門用語のより完全な理解を得ることを手助けするために、以下の用語が定義される。
【００４５】
活性化関数：活性化関数とは、信号を次の層に伝搬させるために、特定の入力が一つまたは複数のノードを起動できるようにする、ノードまたはノード層の働きを表す関数である。
【００４６】
ファイアリング頻度数：ルールがファイアされるたびごとにカウンタがインクリメントされる。このことはそのルールが使用された頻度の尺度を与える。ファイアリグ頻度は、単にルールがファイアされるたびごとに増加するか、ルールが特定の閾値より大きいファイアリング強度でファイアされるときだけ増加することができる。
【００４７】
ファイアリング強度：ルールがテストデータと合致するように用いられるたびごとに、ルールが「ファイア」されたとみなされる。ファイアリング強度は、ルールがテストデータにどれほど強く反応するかの尺度であり、ルールの係数によって決定される。
【００４８】
高次元データ：本発明の目的上、高次元データとは入力数が１０より大きいデータのことを一般に指す。
【００４９】
学習／訓練：本発明は、ファジー推論エンジンのためのルールベースを（全ての学習が一手順で達成されるバッチ学習とは異なり）オンライン学習により増加的に発展させることができる。そしてこのルールベースは、コンピュータ上で実行することができるソフトウェアあるいはハードウェアで実現することができる。
【００５０】
メンバーシップ関数：メンバーシップ関数とは、ファジーメンバーシップに対応できる分布関数であって、その非限定的な例としてはガウシアンメンバーシップ関数、三角形メンバーシップ関数、および台形メンバーシップ関数がある。ガウシアンメンバーシップ関数が、本発明にとって好ましいメンバーシップ関数と考えられる。
【００５１】
メンバーシップ関数パラメータ：メンバーシップ関数は、ガウシアンメンバーシップ関数の場合には、平均値と分散などのパラメータを有し、このパラメータはメンバーシップ関数の形状、従って、入力に対するその応答を規定する。これらのメンバーシップ関数は、入力データとの適合性およびその結果としてのデータ分類のための有用性に応じて、繰返し調節し、または置き換えることができる。
【００５２】
プロセッサ：本発明は、汎用コンピュータか専用のコンピュータ上で動作するソフトウェアとして具体化することができ、またハードウェアでの実施形態に容易に適用可能である。
【００５３】
（序説）
オンライン学習のために使用される現在のファジー推論ネットワークは低次元データの分類における使用に限定されている。本発明は現在のファジー推論ネットワークの能力を拡張して高次元データの分類を容易にする。現在のファジー推論ネットワークでは、分類プロセスが０と１の間の多数の値の積に依存しているので、全体の積がますます小さくなり、結局、計算上実用的であるには小さすぎる数となる。
【００５４】
本発明の目的は、依存性ファジー推論ネットワークの動作を、分類されるデータにおける次元数と分けて扱うことにある。二つの動作がこのために採用される。分類誤差に基づいてファジールールをチューニングすることと、学習ルールを適用してメンバーシップ関数パラメータを更新することである。
【００５５】
（ファジー推論ネットワーク）
自己構築型ファジー推論ネットワーク（ＳＯＮＦＩＮ）は、本発明を適用できるオンライン学習ファジー推論ネットワークの一例である。ＳＯＮＦＩＮによって例示される５層ニューラルネットワークのノード図を図２に示す。ＳＯＮＦＩＮについての以下の説明は、その範囲内で本発明がよく理解される枠組みを提供すると共に、本発明が適用されるファジー推論ネットワークの一例を提供するためのものである。
【００５６】
ＳＯＮＦＩＮは複数のノードを備えた５層ネットワークとして具体化することができ、一つの層内の各ノードは、他のノードからの情報または証拠を組み合わせる統合関数を有する。各ノードにおける統合関数は各ノードにおけるネット入力(net input)を以下のように与える。
【数５】
2004532467.tif 000007
ここで、ｕ1(k)，ｕ2(k)，...，ｕp(k)はノードへの入力であり、ｗ1(k)，ｗ2(k)，...，ｗp(k)は対応するリンク重みである。上式の上付き文字ｋは層番号を表す。統合関数ｆと共に、各ノードは活性化関数ａ（  ）を有し、この関数は第１層２００に対し以下の式を与える。
【数６】
2004532467.tif 000008
この式はノード出力を活性化関数ａ（  ）によってノード入力の関数として表している。
【００５７】
（層の説明）
ＳＯＮＦＩＮの各層を全体のネットワークに関するその機能の点から説明する。
【００５８】
第１層２００：
第１層２００内の各ノードは一つの入力変数と対応している。第１の層は計算を実行せず、単に入力値を第２の層に送信する。第１の層におけるリンク重みは全て１に設定される。この場合の活性化関数は統合関数と同じである。
【数７】
2004532467.tif 000009
【００５９】
第２層２０２：
ＳＯＮＦＩＮはニューラル方法とファジー方法を組み合わせてニューラルネットワークを訓練しようとする。ファジー方法の使用は訓練されたネットワークによって生成されたルールの解釈可能性を与えるのに役立つ。ネットワークの言語解釈に対応するために、第２層２０２は言語ラベル（例えば、小さい、大きい、低い、高いなど）を入力変数と関連付ける。入力変数に対応する言語ラベルはマッピング関数（例えば、多次元ガウシアン関数）の使用によって確かめることができる。言語ラベルに対応するパラメータは訓練段階の間に学習される。各入力変数に対して、各言語ラベルにおけるメンバーシップが容易に得られる。第２層２０２において実行される関数は以下の通りである。
【数８】
2004532467.tif 000010
ここで、ｍijとσijは言語のそれぞれに対応するガウシアンメンバーシップ関数の平均値と分散を表す。
【００６０】
第３層２０４：
第３層２０４内のノードは一つのファジー論理ルールを表し、ルールの前提条件マッチングを実行する。この層におけるリンク重みは１である。この層におけるリンクは入力変数の言語がルールに対して適切かどうかを判定する。下記のＡＮＤ演算が第３層２０４内の各ノードにおいて用いられる。
【数９】
2004532467.tif 000011
ここで、Ｄi＝ｄｉａｇ（１／σi1，１／σi2，...，１／σin），ｍi＝（ｍi1，ｍi2，...，ｍin）であり、ｘはｎ次元入力パターンを表す。第３層２０４内のノードの出力は対応するファジールールのファイアリング強度を表す。
【００６１】
第４層２０６：
第３層２０４と同様、この層におけるリンク重みは１に等しい。第４層２０６内のノード数は第３層２０４内のノード数と等しい。第３層２０４において計算されたファイアリング強度は下記の式によって第４層２０６において正規化される。
【数１０】
2004532467.tif 000012
【００６２】
第５層２０８：
いったん正規化されたルールファイアリング強度が得られると、それらは分類決定を生成するために互いに組み合わされる必要がある。ＳＯＮＦＩＮにおいては、ルールはクラスと関連づけられるので、特定のクラスの正規化されたルール出力は重み付けされ、平均化される。この処理は非ファジー化としても知られており、下記の演算を含む。
【数１１】
2004532467.tif 000013
【００６３】
非ファジー化処理を出力ノードのそれぞれに対して完了すると、最大出力を有するノードが入力パターンのクラスを決定する。ＳＯＮＦＩＮにおいては、第３層２０４内のルールノードの数は、より多くの入力が与えられるほど増大する。この増大は各既存ルールのファイアリング強度の閾値化に基づいている。全ての既存ルールのファイアリング強度が閾値よりも小さければ、現在の入出力マッピングを表すために新規ルールノードが生成される。このようにして、データが与えられるときに、ＳＯＮＦＩＮの構造が進化すなわち自己組織化する。
【００６４】
ルール生成プロセスの間のもう一つの重要な特徴は、新規に形成されたルールのために各次元方向で採用されるメンバーシップ関数（例えば、ガウシアンメンバーシップ関数、三角形メンバーシップ関数、または台形メンバーシップ関数）の枝刈りである。新規ルールが形成されるとき、各次元方向のメンバーシップ関数は、以前に形成されたルールのためにすでに存在する次元方向の他のメンバーシップ関数とのファジー類似性についてチェックされる。類似性が高い（とユーザによって規定される）場合、新規ルールのためのガウシアンメンバーシップは追加されず、その逆も同様である。
【００６５】
基本的なＳＯＮＦＩＮはネットワークのパラメータをチューニングする能力を有している。パラメータチューニングは、メンバーシップ関数のパラメータ（例えば、平均値と分散）を絶えず更新するために行われるので、それらは誤分類を最小限にするようにチューニングされる。パラメータチューニングを行うために、ＳＯＮＦＩＮは逆伝搬アルゴリズムを適用する。最初に第５層２０８内のリンク（ｗi(5)）が更新される。それから誤差が第２層２０２に至るまで逆方向に伝搬され、そこでは、各メンバーシップ関数のパラメータが、それが表すルールのファイアリング強度に比例して更新される。逆伝搬法についての詳細は、「発明が解決しようとする課題」の中に記載された参考文献によって与えられている。
【００６６】
より多くの入力パターンが与えられるほど、ネットワークのパラメータがチューニングされ、同時にネットワーク構造が進化する。ＳＯＮＦＩＮは、低次元分類のみならず関数近似のためにも非常によく機能する一方で、入力次元数が大きくなり始める（１０入力特徴を超える）場合には、ネットワークは問題を有する。
【００６７】
ルール層を表すＳＯＮＦＩＮの第３層２０４は、１次元メンバーシップ関数の積を作ることによって生成される。このメンバーシップ関数の各次元は入力特徴次元を表す。個々のメンバーシップ関数からのメンバーシップ値を組み合わせるこの方法は、ファジー論理では積ルールとして知られている。ガウシアンメンバーシップ関数は、計算が簡単であるために、メンバーシップ関数の好ましいクラスである（特に、Ｎ次元ガウシアン関数は、Ｎ個の１次元ガウシアンメンバーシップ関数の積として簡単に分解できるので、ルール解明プロセスの助けとなる）。
【００６８】
残念ながら、積ルールは、入力次元数が大きくなると、パラメータチューニング／学習プロセスの間、好ましくなくなる。先に述べたとおり、ＳＯＮＦＩＮにおいて採用される学習は逆伝搬アルゴリズムを用いて実行される。逆伝搬アルゴリズムを用いてチューニングすることの背後にある考えは、誤分類における誤差が最小となるように各ルールのメンバーシップ関数のパラメータを変えることである。誤差が第５層２０８（出力層）から第２層２０２（ここでメンバーシップ関数のパラメータが更新される）へ逆伝搬されるとき、入力が高次元である場合に大きな問題が生じる。
【００６９】
ルールのメンバーシップ関数のパラメータを更新するために第２層２０２に逆伝搬される誤差は、そのルールのファイアリング強度に依存している。ルールのファイアリング強度はN次元メンバーシップ関数の出力（すなわち積ルール）によって決定される。従って、余りにも多くの入力特徴があるならば、ルールのファイアリング強度は途方もなく小さくなる。例えば、２０個の入力があり、各次元に対するメンバーシップ値が０．７であるならば、積ルールによりルールのファイアリング強度は０．０００７９７９２２となる。次元数が増加するにつれて、この問題は明らかに悪化する。以下の式は、この影響をさらに詳しく説明する、ガウシアンメンバーシップ関数を採用した一例である。１次元正規分布に対して、以下の式が良く知られている。
【数１２】
2004532467.tif 000014
【００７０】
多次元ガウシアンがあり、対角型の共分散マトリックスが使用され、その共分散マトリックスの全ての対角要素が同じであってσ2に等しいと仮定すると、多次元ガウシアンは各次元方向の１次元ガウシアンに因数分解することができる。以下の式になることがあきらかである。
【数１３】
2004532467.tif 000015
ここで、ｎは入力空間の次元数を表す。ｎ＝２０に対しては、この式は０．６８20＝０．０００４５となる。このことはガウシアンコア（すなわち、平均値に最も近い領域、±σ）の大部分が空であることを意味する。従って、ｎが大きい場合は、ルールがかなりの強度でファイアして（ルールのファイアリング強度はｎ個の１次元ガウシアンの積である）逆伝搬学習の間にガウシアンパラメータになんらかの変更を加える機会がない。
【００７１】
従って、ほとんどの点は多次元ガウシアンの平均値から遠く離れているように見える。また、ファイアリング強度が極めて小さな値であれば、逆伝搬学習の間、ガウシアンの平均値と分散の変化が非常に小さくなるので、無視し得るほどの学習しか生じない。
【００７２】
基本的なＳＯＮＦＩＮにおけるもう一つの重要なボトルネックは、ルール生成のための原理である。現在存在する全てのルールのファイアリング強度が、ユーザによって決められた閾値よりも小さいならば、新規ルールが生成される。このことは、現在のルールベースを表すメンバーシップ関数の現在の位置と大きさ（すなわち、それぞれガウシアンメンバーシップ関数の平均値と分散）が現在の入力パターンを表すためには不適当であることを暗に意味している。ＳＯＮＦＩＮは二通りの方法でこの問題を克服しようとしている。
【００７３】
第１の方法は、現在の入力が将来正確に表されるように、各入力次元方向の新規メンバーシップ関数を採用することによって、新規ルールを生成することであった。もう一つの方法はメンバーシップ関数の位置と大きさを調節するためにパラメータチューニングプロセスを用いることによるものである。パラメータチューニングは、少なくとも一つのルールのファイアリング強度が閾値よりも大きいが間違ったクラスを表す場合に必要となる。その場合、ＳＯＮＦＩＮは逆伝搬を用いたパラメータチューニングによってその問題を訂正しようとする。このことは、生成されたルールが、誤りを訂正することができる学習を持たないクラスに間違って割り当てられることがあることを意味する。従って、高次元問題に対しては、ＳＯＮＦＩＮは本質的に、クラスラベルが各クラスタに添付された貧弱なクラスタリングアルゴリズムとなる。このことはＳＯＮＦＩＮの予測能力に悪影響を与えるのみならず、途方もなく多数のルールを生成する。
（本発明の詳細）
本発明は、ＳＯＮＦＩＮなどのオンライン学習ファジー推論ネットワークを用いて高次元分類タスクを処理する。本発明の一実施形態の基本アーキテクチャを表すブロック図を図３に示す。オンライン学習ファジー推論ネットワーク３００はＳＯＮＦＩＮなどのネットワークを表す。オンライン学習ファジー推論ネットワーク３００の出力３０２はルールチューニング学習法則適用プロセッサ３０４に与えられる。ルールチューニング学習法則適用プロセッサ３０４は二つの機能を備える。
【００７４】
まず、ルール採用のための閾値型の基準を用いて、入力に対する最大ファイアリング強度を有するファジールールのファイアリング強度が所定の閾値より大きいかどうかを判定する。ルールのファイアリング強度が所定の閾値より大きく、その閾値がファジールールが計算の有効性のために十分大きな出力を与えることを確実にするように設定されるならば、そのルールが、それが適切に入力データを分類したかどうかを判定するために、テストされる。ファジールールが適切に入力データを分類したならば、学習ルールが、ファジールールのメンバーシップ関数のパラメータを更新するために適用される。
【００７５】
学習ルールは、ファジールールのメンバーシップ関数が同一次元方向の他のファジールールのメンバーシップ関数との最小限の重なりを有することを確実にするのに役立つ。ファジールールが入力データを適切に分類しなかったか、または入力データに対する最大ファイアリング強度を有するファジールールのファイアリング強度が所定の閾値レベルより大きくなかったならば、そのルールの各メンバーシップ関数と、メンバーシップ関数に対応する次元に対する対応入力データとの間に、ファジー類似性基準を適用することと、ファジー類似性基準が満たされなかった次元に対応する新規メンバーシップ関数と、ファジー類似性基準が満足された次元に対応する元のファジールールのメンバーシップ関数との両方を含む、新規ファジールールを発生することによって、新規ファジールールが生成され、ルールベースに追加される。
【００７６】
ファジールールが正しいクラスラベルに割り当てられるならば、新規ファジールールが生成される。この新しい自己組織化プロセスは改善されている。なぜなら、それがルールの拡散を許さないにもかかわらず、ルールを正しい分類ラベルに割り当てることによって精度を確保するからである。
【００７７】
新規学習ルールは、逆伝搬をベースにしていないが、入力次元とは独立した誤差重み付けされたｋ平均値アルゴリズムをベースにしている。ファイアリングカウントの頻度と呼ばれる新規パラメータｆが、各ファジールール（図２にノードとして表されている）に対して導入される。このパラメータは、ファジー推論ネットワークの第３層２０４における各ルールがファイアされた累積数を表す。ファイアリング頻度は分類タスクのためのルールの重要度の統計的基準を与える。所与のルールのファイアリング頻度が高ければ、ネットワークに与えられた多数の入力サンプルがそのルールによって表されており、その逆もいえる。新規学習ルールは各ルールに対するファイアリング頻度を用いている。
【００７８】
学習法則が使用する他の重要なパラメータは分類における誤差｜ｅ｜である。一般に、分類における誤差｜ｅ｜は、出力クラス値と、正しいクラスに割り当てられた値との間の絶対値として定義することができる。これらの二つのパラメータを用いて、新しい学習法則におけるガウシアンメンバーシップ関数の場合における平均値と分散に対する更新が、下記式のように書かれる。
【数１４】
2004532467.tif 000016
【数１５】
2004532467.tif 000017
ここで、μ*ijとσ*ijおよびμijとσijはそれぞれ、現在入力ｘi（ｉ＝１，...，Ｎであり、Ｎは入力次元数である）に対する最大ファイアリングルールであるＪ番目のルールに対するＩ番目のガウシアンメンバーシップ関数の調整された平均値と分散および調整されていない平均値と分散を表す。
【００７９】
本発明は以下のような新しい学習法則を採用する。新規ルールＪが生成されると、それは正しいクラスラベルに直接割り当てられる。このことは｜ｅ｜がゼロになることと、各次元に対するガウシアンメンバーシップ関数の平均値が入力そのものとして設定されることを意味する。分散は予め定義された初期幅σinitに設定される。ルールＪに対するファイアリングカウントの頻度ｆjはインクリメントされる。次の入力が与えられたとき、もし既存ルールが所定の閾値より大きいそのファイアリング強度に基づいて選択されるならば、メンバーシップ関数パラメータ（通常はメンバーシップ関数の平均値と分散）は、分類における誤差の大きさ｜ｅ｜と、そのルールに対するファイアリングカウントの頻度ｆjとに基づいて更新される。従って、ルールが比較的新しいならば、そのファイアリング頻度は低く、そのため分類誤差の大きさが、ガウシアンメンバーシップ関数の平均値と分散の調整において重要な役目を担う。
【００８０】
ルールが過去に数回ファイアされている場合は、ファイアリングカウントの頻度ｆjが増加し、従って、誤分類における誤差の影響が、そのルールに対して小さくなり始め、新規ルールの生成を引き起こす。このようにして、生成されたルールは、重要性がその過去に与えられるために、ますます強力となるが、それにもかかわらず、ルールの形成段階において、誤分類誤差｜ｅ｜を補償するためにメンバーシップ関数パラメータを変える目的で、多くの重みがその誤分類誤差に与えられる。
【００８１】
もう一つの可能な変形は、もし｜ｅ｜がユーザにより決められた閾値よりも大きいならばルールのファイアリング頻度の更新を止めることである。この変形は、所与のルールのガウシアンメンバーシップ関数に対するパラメータチューニングの回数を増やし、従って、生成されるルールの数を最小にする。重要なことに、しかも基本的なＳＯＮＦＩＮとは異なり、本発明は、誤ったクラスラベルが割り当てられたルールの誤分類を許さない。
【００８２】
また、本発明の更新方程式は、ルールのファイアリング強度ｆJに依存しないので、基本的なＳＯＮＦＩＮが遭遇する高次元分類に関する問題を避けることができる。従って、自己組織化プロセスと組み合わされた、本発明において使用される学習方程式は、高次元分類問題を学習できるオンライン学習ファジー推論ネットワークを提供する。
【００８３】
本発明の方法を詳述するフローチャートを図４に示す。この図は、図１に与えられたようなＳＯＮＦＩＮ型のネットワークを含むと共に、それを高次元入力と共に効果的に働くようにする拡張と変更を備えた、本発明のフロー説明図である。図１と同様、このフローチャートの一部は一般的なファジー推論ネットワーク４００を表し、それはＳＯＮＦＩＮに基づくオンライン学習に適応している。
【００８４】
ＳＯＮＦＩＮはオンライン学習を行うために必要な適合性を備えている。入力ステップ４０１において、N次元の入力パターンがファジー推論ネットワーク４００に与えられる。ファジー推論ネットワーク４００はそれからメンバーシップ値計算ステップ４０２において、各ルールに対して各入力次元に対するメンバーシップ値を計算する。
【００８５】
ファイアリング強度チェックステップ４０４において、ルールのファイアリング強度が入力に基づいて決定され、チェックされて、それが所定の閾値より大きいかどうかが判定される。ファイアリング強度がその閾値より大きい場合は、ファジー推論ネットワーク４００は、正規化ステップ４０６において、ルールに対する正規化されたルール強度を計算する。ファジー推論ネットワーク４００はそれから非ファジー化ステップ４０８において重心非ファジー化法を用いて出力を計算する。
【００８６】
訓練されたネットワークの定常状態動作においては、非ファジー化ステップ４０８の結果がファジー推論ネットワーク４００の出力である。ファイアリング強度チェックステップ４０４において、ルールのファイアリング強度が閾値よりも大きいかどうかを判定するためにチェックを行った後、ルールが閾値より大きいならば、ルールチューニングステップ４１０において、ファジー類似性基準が、最大ファイアリング強度を有するファジールールと、テストデータとの間に適用される。ファジー類似性基準は、ファジールールの各メンバーシップ関数をチェックして、それが入力データの各対応する次元方向で満足されているかどうかを判定する。
【００８７】
新規ルールが、ファジー類似性基準を満足したメンバーシップ関数と、ファジー類似性基準を満足しなかったメンバーシップ関数と置き換わるための新規メンバーシップ関数との組み合わせから生成される。新規メンバーシップ関数のパラメータは入力データと合致するように設定される（例えば、平均値はメンバーシップ関数が対応する次元方向の入力データの値に等しく設定されると共に、予め設定された分散が与えられる）。新規ルールに対するファイアリング強度の頻度fJがインクリメントされるので、最終的に、そのルールを使用するときに、学習ルールを適用することができる。
【００８８】
また、それに対して新規ルールが生成された入力データに対する分類に、その新規ルールが合致するように、分類ラベルが与えられる。新規ルールと旧ルールの両方がルールベースの中に保持され、ファジー推論ネットワーク４００はさらに多くの入力データを受け入れることができる。ルールのファイアリング強度が、ファイアリング強度チェックステップ４０４において判定されたときに、閾値よりも大きくなければ、出力クラスチェックステップ４１２において、最大ファイアリング強度を有するファジールールがチェックされ、それが入力データを正しく分類したかどうかが判定される。
【００８９】
ルールが入力データを誤って分類したならば、ルールチューニングステップ４１０がそのルールに適用され、ファジー推論ネットワーク４００はさらに多くの入力データを受け入れることができる。ルールが入力データを正しく分類したならば、正規化ステップ４０６と非ファジー化ステップ４０８の後で、学習法則適用ステップ４１４において、学習ルールを適用して、最大ファイアリング強度を有するルールのパラメータを更新し、ファジー推論ネットワーク４００はさらに多くの入力データを受け入れることができる。
【００９０】
ひとたびファジー推論ネットワーク４００が本発明を用いてオンラインで十分訓練されると、その結果としてのルールベースを、汎用か専用のプロセッサ上で動作するソフトウェアで具体化するか、ハードウェア内に直接組み込むことができる。ハードウェアでルールベースを具体化できることにより、相当するソフトウェアでの具体化例よりもはるかに速いデータ分類動作を提供することが一般的に可能となる。
（結果）
車両乗員認識用重量センサーと組み合わされた１次元の赤外線式範囲輪郭センサーデータを用いて本発明の性能を判定するために評価が行われた。使用されたセンサーデータは３１個の特徴を含んでいた。この３１個の特徴は、自動車の中の固定場所から測定された自動車座席内の乗員についての範囲情報を有する３０本のビームと、座席を占めている乗員の平均重量を測定する重量センサーからの信号とである。
【００９１】
その結果が３組のデータセットに対して図５に示されている。タスクは、座席内の乗員をいくつかのカテゴリの一つに分類することと、エアバッグを使用可能にするかどうかを判定することであった。第１データセットにおいては、分類タスクは、後ろ向き乳幼児シート（ＲＦＩＳ）に対してエアバッグを使用不能にすることと、前向きチャイルドシート（ＦＦＣＳ）、自由に歩き回る３５ポンドの子供、前向き乳幼児シート（ＦＦＩＳ）、および通常位置の大人に対してエアバッグを使用可能にすることであった。
【００９２】
ここで、自由に歩き回る３５ポンドの子供は、重量センサーの読みをＦＦＣＳとＦＦＩＳよりもノイズの大きいものにする傾向がある。大人の位置外れ（ＯＯＰ）は第１データセットには含まれていなかった。第２データセットは、使用可能なようにＯＯＰが分類されるようになっていたことを除き、第１データセットと同じであった。第３データセットにおいては、分類タスクは、ＦＦＩＳに対しては使用不能にすることと、ＦＦＣＳ、通常位置の大人、自由に歩き回る３５ポンドの子供、およびＯＯＰに対しては使用可能にすることであった。このデータセットにおいては、ＲＦＩＳ例はなかった。
【００９３】
これらのタスクは、これらの状態に対するセンサー特徴における重なり量のために、困難性のレベルが変動する。これらのアプリケーションが高次元分類タスクであることと、オンライン学習をシミュレートするために、データが単一パスでシステムに与えられ、与えられた各入力パターンについて学習が行われたこととに注意することが重要である。
【００９４】
３組のデータセットは、本発明のネットワークのみならず、ＳＯＮＦＩＮ型とＭ−ＰＲＯＢＡＲＴ型のネットワークを訓練するために用いられた。先に述べたように、本発明の性能は図５の表にまとめられている。二つの異なる性能基準が、本発明の結果を他のネットワークの結果と比較するために用いられた。第１の基準はテストデータ（すなわち、訓練データセットではない）についての予測性能における精度であった。
【００９５】
この表から、本発明を用いたテストセットについての予測精度は、全てのデータセットに対して、ＳＯＮＦＩＮのそれよりもはるかに良く、Ｍ−ＰＲＯＢＡＲＴのそれに匹敵することがわかる。ＳＯＮＦＩＮは高次元入力の問題のために貧弱なクラスタリングアルゴリズムと化すので、予測精度は本発明のそれよりも劣っている。ＳＯＮＦＩＮと比べて良好なＭ−ＰＲＯＢＡＲＴの精度は、本発明の出力クラス割り当てと同様の出力クラス割り当てにおける不適合の原因である自己組織化プロセスに帰することができる。使用された第２の性能基準は生成されたルールの数であった。
【００９６】
本発明に対しては、この基準はＭ−ＰＲＯＢＡＲＴ型ネットワークとＳＯＮＦＩＮ型ネットワークの両方よりも優れていた。ＳＯＮＦＩＮの場合には、抽出されたルールベースのサイズ差は、またもや高次元空間における学習能力がないせいである。Ｍ−ＰＲＯＢＡＲＴに対しては、ルールベースにおける差は、主としてパラメータチューニング機構の欠如のためであった。本発明およびＳＯＮＦＩＮとは異なり、Ｍ−ＰＲＯＢＡＲＴはまた、各次元方向のガウシアンの枝刈りをしない。要約すると、前記結果は、本発明が、高精度であるのみならず、文献において現在入手可能な二つの主要なオンライン学習アルゴリズムと比較してそのルールベースのサイズがコンパクトであることを示している。この結果は、主として、高次元分類タスクのためにオンライン方式で学習するために考え出された新しい学習法則と自己組織化プロセスとのためである。
【図面の簡単な説明】
【００９７】
【図１】ＳＯＮＦＩＮの動作を表すフローチャートである。
【図２】本発明が使用可能な５層ニューラルネットワークを表すノード図である。
【図３】ＳＯＮＦＩＮなどのオンライン学習ファジー推論ネットワークに加えて本発明の構成要素を示すブロック図である。
【図４】本発明の方法における各ステップを示すフローチャートである。
【図５】本発明の一つの実施形態とＳＯＮＦＩＮネットワークおよびＭ−ＰＲＯＢＡＲＴネットワークとの性能比較を示す表である。
【図１】
2004532467.tif 000026
【図２】
2004532467.tif 000027
【図３】
2004532467.tif 000028
【図４】
2004532467.tif 000029
【図５】
2004532467.tif 000030
【国際公開パンフレット】
2004532467.tif 000031
2004532467.tif 000032
2004532467.tif 000033
2004532467.tif 000034
2004532467.tif 000035
2004532467.tif 000036
2004532467.tif 000037
2004532467.tif 000038
2004532467.tif 000039
2004532467.tif 000040
2004532467.tif 000041
2004532467.tif 000042
2004532467.tif 000043
2004532467.tif 000044
2004532467.tif 000045
2004532467.tif 000046
2004532467.tif 000047
2004532467.tif 000048
2004532467.tif 000049
2004532467.tif 000050
2004532467.tif 000051
2004532467.tif 000052
2004532467.tif 000053
2004532467.tif 000054
2004532467.tif 000055
2004532467.tif 000056
2004532467.tif 000057
2004532467.tif 000058
2004532467.tif 000059
2004532467.tif 000060
2004532467.tif 000061
2004532467.tif 000062
2004532467.tif 000063
2004532467.tif 000064
2004532467.tif 000065
2004532467.tif 000066
2004532467.tif 000067
2004532467.tif 000068
2004532467.tif 000069
【国際調査報告】
2004532467.tif 000070
2004532467.tif 000071
2004532467.tif 000072