(57)【要約】一般化性能などのクラシファイア性能を見積もる方法および装置を含む方法および装置を開示する。一方法は、複数のサンプル(10)を与える段階を含む。各サンプルは、1つまたは複数の特徴によって特徴付けされる。この方法は、1つまたは複数の特徴のうちの少なくとも1つに特徴ごと(20)に特徴変動性を関連付けする段階と、特徴変動性を用いて第1のクラシファイアによる誤判別(30)の第1の確率を算出する段階も含む。本発明の方法を実行する際に使用できるように構成された集積回路（IC）およびフィールド・プログラマブル・ゲート・アレイ（FPGA）を含む装置も開示する。
2005524131.tif 000002
【特許請求の範囲】
【請求項１】
以下の段階を含む、クラシファイアの性能を見積もる方法：
（a）各サンプルが1つまたは複数の特徴によって特徴付けされた複数のサンプルを与える段階；
（b）特徴変動性と1つまたは複数の特徴の少なくとも1つを関連付けする段階；
（c）クラシファイアを用いて、複数のサンプルからのサンプルのサブセットにおける1つまたは複数のサンプルについての1つまたは複数のスコアを算出する段階；
（d）特徴変動性を用いて、スコア変動性と1つまたは複数のスコアのうちの少なくとも1つを関連付けする段階；および
（e）1つまたは複数のスコアのうちの1つまたは複数およびスコア変動性を用いて、クラシファイアによる誤判別の確率を算出する段階。
【請求項２】
段階（e）が、
（e）1つまたは複数のスコアのうちの1つまたは複数およびスコア変動性を用いて、クラシファイアによる誤判別の確率を算出し記憶する段階を含み、
方法が、以下の段階をさらに含む、請求項1記載の方法：
（f）第2のクラシファイアを用いて、複数のサンプルからのサンプルのサブセットにおける1つまたは複数のサンプルについての1つまたは複数のスコアを算出する段階；
（g）特徴変動性を使用して、第2のクラシファイアを用いて第2のスコア変動性と算出された1つまたは複数のスコアのうちの少なくとも1つを関連付けする段階；ならびに
（h）（i）第2のクラシファイアを用いて算出された1つまたは複数のスコアのうちの1つまたは複数、および
（ii）第2のスコア変動性
を用いて第2のクラシファイアによる誤判別の第2の確率を算出する段階。
【請求項３】
複数のサンプルが、複数の組織サンプルである、請求項1記載の方法。
【請求項４】
クラシファイアが、線形判別関数クラシファイアである、請求項1記載の方法。
【請求項５】
クラシファイアが、二次判別関数クラシファイアである、請求項1記載の方法。
【請求項６】
クラシファイアが、ニューラル・ネットワーク・クラシファイアである、請求項1記載の方法。
【請求項７】
段階（b）における変動性が、1つまたは複数の特徴のうちの1つの複数の測定値を用いて見積もられる、請求項1記載の方法。
【請求項８】
段階（d）における関連付けが、クラシファイアの線形近似値を使用する段階を含む、請求項1記載の方法。
【請求項９】
請求項1の方法を実施するための機械読取り可能な命令を含むプログラム。
【請求項１０】
請求項1の方法を実行する際に使用できるように構成されたフィールド・プログラマブル・ゲート・アレイ（FPGA）を含む装置。
【請求項１１】
請求項1の方法を実行する際に使用できるように構成された集積回路を含む装置。
【請求項１２】
以下の段階を含む方法：
（a）各サンプルが1つまたは複数の特徴によって特徴付けされた複数のサンプルを与える段階；
（b）特徴変動性と特徴ごとの基準に基づいた1つまたは複数の特徴のうちの少なくとも1つを関連付けする段階；および
（c）特徴変動性を用いて第1のクラシファイアによる誤判別の確率を算出する段階。
【請求項１３】
（d）特徴変動性を用いて第2のクラシファイアによる誤判別の第2の確率を算出する段階をさらに含む、請求項12記載の方法。
【請求項１４】
段階（c）が、以下の段階を含む、請求項12記載の方法：
（c）特徴変動性を用いて複数のクラシファイアによる誤判別の複数の確率を算出する段階；および
（d）誤判別の複数の確率を平均する段階。
【請求項１５】
複数のサンプルが、複数の組織サンプルである、請求項12記載の方法。
【請求項１６】
第1のクラシファイアが、線形判別関数クラシファイアである、請求項12記載の方法。
【請求項１７】
第1のクラシファイアが、二次判別関数クラシファイアである、請求項12記載の方法。
【請求項１８】
第1のクラシファイアが、ニューラル・ネットワーク・クラシファイアである、請求項12記載の方法。
【請求項１９】
段階（b）における変動性が、1つまたは複数の特徴のうちの1つの複数の測定値を用いて見積もられる、請求項12記載の方法。
【請求項２０】
段階（c）が、誤判別の第1の確率を算出する前に第1のクラシファイアの線形近似値を使用する段階を含む、請求項12記載の方法。
【請求項２１】
請求項１２の方法を実施するための機械読取り可能な命令を含むプログラム。
【請求項２２】
請求項１２の方法を実行する際に使用できるように構成されたフィールド・プログラマブル・ゲート・アレイ（FPGA）を含む装置。
【請求項２３】
請求項１２の方法を実行する際に使用できるように構成された集積回路を含む装置。
【請求項２４】
以下の段階を含む、2つ以上のクラシファイアを比較する方法：
段階（d）が、誤判別の複数の確率を平均して第1の最終クラシファイアの性能を見積もる段階を含み、請求項14の段階（a）〜（d）を実行する段階；
段階（d）が、複数のクラシファイアによる誤判別の確率を平均して第2の最終クラシファイアの性能を見積もる段階を含み、請求項14の段階（a）〜（d）を実行する段階；および
第1の最終クラシファイアの見積もられた性能を第2の最終クラシファイアの見積もられた性能と比較する段階。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の背景
1.  発明の分野
本発明は、データの識別に関する。詳細には、本発明は、クラシファイア（classifier）の性能の見積りおよび評価に関する。
【背景技術】
【０００２】
２.  関連技術の説明
識別アルゴリズム、すなわちクラシファイア（classifier）は、1組の1つまたは複数の特徴に基づいて、サンプルが属するクラスを判定する方法である。「クラス」は、場合によっては明確に定義されているサンプルの属性に過ぎない。たとえば、クラス「腫瘍」および「正常」は、特定の組織サンプルが癌に罹患しているかどうかを診断するクラシファイアの設計に用いることができる。癌を検出するための有用な特徴には、組織サンプルから測定された遺伝子および／またはタンパク質発現レベルが含まれる。識別アルゴリズムの用途は多数あるが、この診断の例では特に、ある分野におけるクラシファイアの性能を評価する正確な方法が必要である。
【０００３】
「サンプル」は任意の種類のデータである。「特徴」は、データの局面または特性である。たとえば、サンプルが組織である場合、組織の特徴は、そのタンパク質発現レベルであってよい。サンプルがクレジット・カードの申込みである場合、申込みの特徴は申込者の年齢または収入であってよい。
【０００４】
上記の診断の例と同様な用途の場合、クラシファイアの設計には、教師つき学習技術が使用されている。教師つき学習とは、学習アルゴリズムが、アルゴリズム用の1組の入力を、対応する正しい出力と一緒に備えており、学習が、その現在の実際の出力を正しい出力または目標出力と比較するアルゴリズムを含み、したがって、その誤りが何であるかを知り、それに応じて修正を行う1種の機械学習である。このような技術は、サンプルの独立した特徴と指定された従属属性（すなわち、サンプルのクラス）との関係を学習するのに用いられる。たいていの誘導アルゴリズムは教師つき学習範疇に入る。これに対して、教師なし学習は、システムが「正しい答え」を指示されず、たとえば、入力と所望の出力とから成る対に関して訓練されない機械学習モードを示す。この代わり、システムには入力パターンが与えられ、システムは、これらのパターンにおいて関心のあるパターン、規則性、またはクラスタリングを見つける。クラスタリング・アルゴリズムは通常教師なしである。教師つき学習技術は、サンプルのクラスが既知である訓練データセットを利用する。理想的な環境では、訓練データセット内のデータを正しく識別するように設計されたクラシファイアは、訓練データセットに含まれていない試験データに対してうまく作用する。このようなクラシファイアはうまく一般化されると言われる。実際、クラシファイアの一般化性能に影響を与える可能性のある多数の問題がある。したがって、クラシファイアを単に訓練データ性能のみに基づいて評価するのは不十分である。
【０００５】
予想されるクラシファイア性能をよりロバストに見積もるための多数の技術が開発されている。これらのうちで最も一般的なのは相互検証法である。このような方法では、訓練データセットが設計データセットおよび試験データセットに区分される。クラシファイアが設計データセットから算出され、試験データセット・サンプルを正しく識別するクラシファイアの能力に関してクラシファイア性能が評価される。このプロセスは、訓練データのいくつかの異なるパーティションにわたって繰り返され、試験データセット結果全体から全体的な性能見積りが算出される。使用される基本原則は、設計プロセスに含まれないデータから導かれる性能の尺度の方がロバストである可能性が高いということである。しかし、このような相互検証法は環境によっては正確ではないことが分かっている。たとえば、識別アルゴリズムの設計における基本的な仮定は、訓練データが母集団全体を正確に表し、すなわち、クラス確率密度を訓練データから見積もることができることである。多くの用途では、訓練に利用できるデータの量が限られているため、この仮定は無効になる。その結果、このようなデータに基づいて生成されたクラシファイアは無効である。「クラス確率密度」は、特定のクラス内のクラス特徴の分布を指す。たとえば、タンパク質の単一の特徴は、ガウス曲線によって定義され、平均値が1.232であり標準偏差が0.287である密度を有することがある。複数の次元において、特徴間に相関が存在することがある。このような相関をクラス確率密度によって定義することもできる。
【発明の開示】
【０００６】
発明の概要
上記の欠点は、本発明の方法および装置によって軽減または解消される。これらの方法は、関心対称のデータを特徴付ける特徴のうちの1つまたは複数に関連する1つまたは複数の変動性を用いてクラシファイアの性能を見積もる段階を含む。本発明の方法のうちのある方法は、このような変動性を利用する教師つき学習として特徴付けることができる。本発明の方法では、クラシファイアが様々なサンプルを識別するうえでどれだけうまく作用するかを予想する。本発明の方法は、たとえば、予想される性能に基づいて、集合（すなわち、群）内でクラシファイアをランク付けするのに用いることもできる。本発明の装置には、フィールド・プログラマブル・ゲート・アレイや、本発明の方法を実行する際に使用できるように構成された特定用途向け集積回路などの集積回路が含まれる。本発明の方法は、コンピュータ命令または機械読取り可能な命令を含む、コンピュータ・プログラムなどのプログラムを用いて実施することができる。このようなプログラムは変換可能である。
【０００７】
本発明の方法および装置のこれらおよびその他の態様は、以下の説明および添付の図面と一緒に検討したときにより良く理解されよう。しかし、以下の説明は、本発明の方法および装置の様々な態様と、その多数の特定の詳細を示すが、制限ではなく例示として与えられていることを理解されたい。本発明の方法および装置の範囲から逸脱せずに、多数の置換、修正、追加、および／または再構成を後述の態様に施すことができ、本発明の方法および装置にはすべてのそのような置換態様、修正態様、追加態様、および／または再構成態様が含まれる。
【０００８】
以下の図面は、本発明の明細書の一部を形成し、本発明の方法および装置のある態様をさらに実証するために含められている。これらの図面は、制限ではなく一例として示されており、同じ参照符号を用いて同様の要素を示している。
【０００９】
例示的な態様の説明
この文献（特許請求の範囲を含む）では、語「comprise（含む）」（および「comprises」や「comprising」のようなあらゆる形態）、「have（有する）」（および「has」や「having」のようなあらゆる形態）、「include （含む）」（および「includes」や「including」のようなあらゆる形態）は、制限なしの他動語である。したがって、1つまたは複数の要素を「comprises（含む）」、「has（有する）」、または「includes（含む）」方法または装置は、この1つまたは複数の要素を有するが、その1つまたは複数の要素のみを有することに制限されない。たとえば、各サンプルが1つまたは複数の特徴によって特徴付けられる複数のサンプルを与える段階と、特徴変動性を1つまたは複数の特徴のうちの少なくとも1つに関連付ける段階と、特徴変動性を用いて第1のクラシファイアによる誤判別の第1の確率を算出する段階を「含む」方法は、上述の要素を有するが、それらの要素を有することに制限されない。言い換えれば、この方法は、列挙した要素を有するが、列挙されていない追加の要素の処理から除外されることはない。たとえば、この方法は、他の特徴変動性を1つまたは複数の特徴のうちの他の特徴に関連付ける段階も含む。同様に、語「using（用いて、使用して）」も同様に解釈すべきである。すなわち、たとえば、句「特徴変動性を用いて」は、少なくとも特徴変動性を用いることを意味する。
【００１０】
本発明の方法および装置に関連する様々な特徴および有利な詳細について、添付の図面に示され以下の説明に記載された非制限的な態様を参照して詳しく説明する。本発明の方法および装置を不要な程度に曖昧にすることのないように、ある既知の構成要素および処理技術の説明は省略される。
【００１１】
図1は、本発明の一方法である方法100を示すブロック図またはフローチャートである。図示のように、方法100は、各々が1つまたは複数の特徴によって特徴付けされるサンプルを与える段階10を含む。サンプルのクラスが既知である例では、サンプルを訓練データセットまたは訓練データとみなすことができる。一例として、これらのサンプルは組織サンプルであってよく、1つまたは複数の特徴は、遺伝子および／またはタンパク質発現レベルを含んでよい。このような遺伝子および／またはタンパク質発現レベルは、組織の病変領域内または細胞外体液（血清や尿など）において測定することができる。他の組織の特徴には、小さな有機分子などの細胞外成分、たとえば、半径、対称性、きめ細かさを含む、細胞核画像から導かれる属性のような細胞の特徴、たとえば、細胞の密度や向きを含む、組織レベルの特徴を含めてよい。
【００１２】
方法100の段階20は、少なくとも1つの特徴に特徴変動性を関連付ける段階である。特徴に特徴変動性を「関連付ける」段階は、特徴に変動性をリンクまたは接続する任意の方法を含む。したがって、少なくとも1つの特徴の特徴変動性を見積もる段階は、少なくとも1つの特徴に特徴変動性を「関連付けする」方法である。特徴に特徴変動性を「関連付けする」段階は、特徴に特徴変動性を属性付けする段階として記述することもできる。段階20に関して、様々な特徴に同じ特徴変動性を関連付けることも、様々な特徴にそれぞれの異なる特徴変動性を関連付けることもできる。
【００１３】
他の態様では、段階20は、少なくとも1つの特徴に特徴ごとに特徴変動性を関連付ける段階を含んでよい。少なくとも1つの特徴に特徴ごとに特徴変動性を関連付ける段階は、ある特徴に、その特定の特徴に適合させた決定に基づいて特徴変動性を関連付けすることを意味する。その後、第1の特徴変動性と異なる特徴であってもそうでなくてもよい他の特徴変動性を他の特徴に同様に関連付けすることができる。
【００１４】
「特徴変動性」は、特徴の値が入る潜在的な範囲を表す値である。特定の特徴に関連する特徴変動性は、その特徴を繰り返し測定することによって得ることができ、周波数で表すことができる。たとえば、特徴周波数、したがって特徴変動性は、50キロヘルツ（kHz）+/-50ヘルツ（Hz）として表すことができる。加法変動性の代わりに、50kHz*(100%+/-0.1%)のような乗法変動性を本発明の方法のどれかと一緒に用いることができる。関連付けする特徴変動性は、本発明の方法の残りの部分に適用できるかまたは矛盾しないものであると仮定することができる。
【００１５】
場合によっては1つまたは複数の特徴が生物サンプルにおける遺伝子またはタンパク質発現を含む場合と同様に、見積りのような、特徴変動性の関連付けの基準とする多数の測定値を得るのが困難であるときは、特徴変動性の控えめな見積りを使用することができる。
【００１６】
段階20の両方の態様では続いて、1つまたは複数の測定値の使用に基づいて特徴変動性を見積もる代わりに、単に特定の種類のサンプルによる経験から示される特徴変動性を特徴に関連付けすることができる。たとえば、特定の特徴が通常、その特徴の測定値の20%程度の測定誤差を有する場合、20％誤差値を使用する特徴変動性を特徴に関連付けすることができる。この20%誤差値を見積りとみなすことができる。このような見積りは、特徴間で異なるものであってよい。たとえば、特定の特徴の測定値が低い信号−雑音比を有する場合、この特徴の変動性の見積りは、より高い信号−雑音比を有する特徴よりも大きい。
【００１７】
引き続き図1を参照すると、段階30は、（段階20で得た）特徴変動性を用いて第1のクラシファイアによる誤判別の第1の確率を算出する段階を含む。第1のクラシファイアは、段階10で与えられたサンプルのサブセットを用いて算出することができる。このようなサンプル・サブセットは、サンプルの設計サブセットとして、または設計サブセットを有するものとして特徴付けすることができる。クラシファイアは、以下の擬似コードによって説明するようにサンプル・スコアを生成する任意の識別アルゴリズムであってよい。
もし、(fj(x)>limit(j))の場合、
サンプルはクラスjのメンバーである。
上記でない場合、
サンプルはクラスjのメンバーではない。
この場合、fj(x)はスコアリング関数であり、jは特定のクラスであり、xは入力サンプルの特徴のベクトルである。適切なクラシファイアには、線形または二次識別関数クラシファイア、ニューラル・ネットワーク・クラシファイア、K-平均クラシファイア、サポート・ベクトル・マシン（SVM）、マハラノビス距離クラシファイアが含まれるが、これらに限らない。「算出（計算）」は、算出（計算）などによって確定または確認を意味し、したがって、「算出（計算）」は、コンピュータまたは機械の使用を必要とする動作に限らない。
【００１８】
カーネル法と呼ばれる従来技術では、カーネル密度見積りを用いてクラス確率密度がモデル化されている。このような方法では、ガウス関数またはその他のカーネル関数がクラス内の各サンプルに関連付けされ、クラス確率密度がこれらの関数の合計としてモデル化される。平滑確率密度を導くためにガウス関数またはその他の関数を定義するパラメータが選択される。この場合の平滑さは、サンプル間に密度の大きな変動がないことを意味する。したがって、カーネル関数を定義するパラメータは、サンプルの数およびクラス内の各サンプルの間隔に依存する。続いて、このような確率密度見積りを用いてクラシファイアが設計される。
【００１９】
これに対して、本発明の方法では、確率密度の平滑さとは無関係に、少なくとも1つまたは複数の特徴に特徴変動性が関連付けされ、既存のクラシファイアに関する誤判別の確率を算出する際にこの特徴変動性が使用される。
【００２０】
段階30の計算を行う一方法は、段階10で与えられたサンプルから取り出されたサンプルの第2のサブセットにおける各サンプルのスコアを算出する段階を含む。このような第2のサンプル・サブセットは、サンプルの試験サブセットとして、または試験サンプルを有するものとして特徴付けすることができる。第1のクラシファイアは、段階10で与えられたサンプルのサブセット（設計サブセットとして特徴付けることができる）を用いて算出することができ、次いで、段階10で与えられたサンプルから取り出されたサンプルの試験サブセットとみなすことのできるサンプルを、設計サブセットを用いてスコア付けすることによって評価することができる。図2〜4は、本発明の方法と一緒に使用できるサンプルの設計サブセットおよび試験サブセットのそれぞれの異なる構成を示している。
【００２１】
図2は、段階10で与えられたサンプルを表すサンプル12を示している。図2は、サンプル12から取り出された設計サンプルを表すサンプル14も示している。上記で参照された第1のクラシファイアは、たとえばサンプル14を用いて算出することができる。図2は、サンプル12における、サンプル14以外のサンプルを表すサンプル16も示している。サンプル16は、試験サンプルとして特徴付けることができる。段階30の計算を行う一方法は、サンプル16における各サンプルごとにスコアを算出する段階を含む。図2は、サンプル16とサンプル14が排他的なものであり、したがって、重畳しないことを示している。図2に示されているサンプルの構成の一態様は、第1のクラシファイアを算出する際に用いられる設計サンプル（すなわち、サンプル14）に1つのサンプルを除くすべてのサンプル12を使用する段階と、残りの1つの試験サンプル（すなわち、サンプル16）をスコア付けすることによって第1のクラシファイアを試験する段階とを含む。この態様は、「少なくとも1つの相互検証」と呼ばれる。他の態様では、サンプル16における少なくとも1つのサンプルがサンプル14における1つのサンプルでもある。この重畳は図3に示されている。図3は、図2に示されている状況とは別の状況、すなわち、サンプル12における、サンプル14および16以外のサンプルであるサンプル18を示している。サンプル（複数）12、14、16、および18と呼ばれているが、サンプル12、14、16、および18のうちのどれにも1つのサンプルのみを含めることができる。図3に示されている状況とは別の状況が、図4に示されており、互いに異なり、重畳せず、サンプル12の全体を構成するわけではない設計サンプル（すなわち、サンプル14）および試験サンプル（すなわち、サンプル16）を含んでいる。すなわち、サンプル18も存在する。
【００２２】
引き続き、各試験サンプルのスコアを算出する段階について説明すると、スコアを算出する一方法は、線形識別クラシファイアを使用してサンプルにスコア付けする段階を含む。したがって、上述の第1のクラシファイアは線形識別クラシファイアであってよい。このような態様では、既知の値と未知の値（見積りなど）を最もうまく分離するハイパープレーンを求めることができる。このような態様では、特定のサンプルのスコアはハイパープレーンからのユークリッド距離である。
【００２３】
上記に識別した段階30の計算を行う一方法を引き続き説明すると、この方法は、以下のようにサンプル・ベクトルの近傍におけるfj(x)の局部線形近似値を用いてスコアの変動性（すなわち、スコア変動性）を見積もる段階も含んでいる。
2005524131.tif 000003
上式で、aはxにおけるfjの勾配であり、bはxにおけるfjの値である。fjのこの線形近似値を用いて、次式からfjの分散を算出することができる。
σ2(fj(x))=Σai2*σi2    （2）
上式で、aiは式（1）における勾配のi番目の成分であり、σi2はi番目の特徴の特徴変動性である（この特徴変動性は、上記の段階20で概略的に説明したように得ることができる）。さらに、特徴変動性を用いて第1のクラシファイアの誤判別の第1の確率（第1の確率は、クラシファイアがどれだけうまく作用するか、言い換えれば、クラシファイアがどれだけうまく一般化するかを反映することができる）を算出するこの方法は、第1のクラシファイアを算出する際に使用される設計サンプル用の第1のクラシファイアの誤判別の第1の確率を算出する段階を含む。たとえば、試験サンプルのスコアおよびスコア変動性が与えられたと仮定すると、（線形識別関数クラシファイアの例を用いて）以下のように各クラスのスコア分布のガウス混合モデルを介して設計サブセット用の第1のクラシファイアの誤判別の第1の確率を算出することができる。
クラスjスコア分布=ρ（score）
2005524131.tif 000004
上式で、scoreは、（上述のように）ハイパープレーンからのユークリッド距離であり、scoreiは、i番目のサンプルのスコアであり、Nはクラスjにおけるサンプルの数であり、σl2はサンプルlのスコア変動性である。当業者には、scoreが、算出中のクラシファイアの種類に応じて異なることが理解されよう。たとえば、ニューラル・ネットワーク・クラシファイアの場合、scoreは複素関数である。式（3）から、特定のクラスjの誤判別の確率は次式によって与えられる。
クラスjの誤判別の確率=
2005524131.tif 000005
上式で、limit （限界）は、クラシファイアの設計によって与えられる。この方法では続いて、所与の設計サブセットの誤判別確率が各クラスの和によって与えられる。
設計サブセットの誤判別の確率=
2005524131.tif 000006
上式で、πjはクラスjの事前確率である。
【００２４】
図5は、方法100の拡張である、本発明の方法のうちの別の方法を示す図である。図5に示されているように、方法200は、図1の段階10、20、および30を含み、（段階20から得た）特徴変動性を用いて第2のクラシファイアによる誤判別の第2の確率を算出することである段階40をさらに含む。段階40は、上述の段階30を行う方法を用いて行うことができる。方法200の各段階を実行する際、誤判別の第1の確率は、第1の設計サブセットについて算出することができ、第1の確率はコンピュータ読取り可能媒体に記憶することができ、誤判別の第2の確率は他の設計サブセットについて算出することができる。このようにして、段階10で与えられたサンプル内の各設計サブセット（すなわち、訓練データセット）の誤判別の確率を算出することができる。または、方法200では、そのような確率について必ずしもすべての確率を算出しなくてもよい。方法200の段階50は、算出された複数のクラシファイアによる誤判別の確率を平均する段階である。平均は、最終的なクラシファイアの性能の見積りとして働くことができる。
【００２５】
図6は、本発明の方法のうちの別の方法を示している。方法300は、2つ以上のクラシファイアを比較する方法であり、クラシファイアの集合をランク付けするのに適している。方法300は、2つ以上のクラシファイアの見積もられた性能を比較するのに有用な方法として特徴付けることもできる。図6に示されているように、方法300は、段階10〜50（すなわち、段階10、20、30、40、および50）を実行する段階310を含み、段階50の平均化は、複数のクラシファイアによる誤判別の複数の確率を平均して第1の最終クラシファイアの性能を見積もる段階を含む。方法300の段階320は、方法200の段階10〜50を実行し、段階50の平均化は、複数のクラシファイアによる誤判別の複数の確率を平均して第2の最終クラシファイアの性能を見積もる段階を含む。方法300は、段階330、すなわち、第1の最終クラシファイアの見積もられた性能を第2の最終クラシファイアの見積もられた性能と比較する段階も含む。このように、方法300は、2つ以上のクラシファイアの群においてどのクラシファイアの一般化が最良であるかを判定するのに適している。
【００２６】
方法300の段階310を実行する際、特徴変動性は、方法300の段階320を実行する際に使用される特徴変動性とは異なるものであってよい。たとえば、方法300を実行する際、使用されるサンプルは、車の部品であってよい。車の部品はそれぞれ、部品の音響共鳴スペクトル、寸法、および材料特性を含む複数の特徴によって特徴付けることができる。段階310を実行する際、段階20の実行は、特徴変動性を3つの特徴に関連付けする段階を含んでよい。どの3つの特徴を選択するかは、第1の最終クラシファイアの見積もられた性能に影響を与える。段階320を実行する際、段階20の実行は、特徴変動性を、段階310に関連して選択された3つの特徴とは異なる2つの特徴に関連付けする段階を含んでよい。段階20を実行する際にどの2つの特徴を選択するかは、第2の最終クラシファイアの見積もられた性能に影響を与える。段階310および320を実行する際に使用される特徴として選択された特徴を変更することによって、ユーザは、最終的にどのクラシファイアが最良の一般化能力を有するかを選択することができる。
【００２７】
さらに、本発明の方法の各段階を実行する際に使用できる1つまたは複数の特徴のサブセットを生成する多数の異なる方法がある。たとえば、任意の適切なアルゴリズムを用いてそれぞれの異なる特徴サブセットを生成することができる。1つのそのような例について以下に説明する。
【００２８】
図7は、本発明の方法のうちの他の方法を示している。方法400は、段階410、すなわち、各々が1つまたは複数の特徴を有する複数のサンプルを与える段階を含む。方法100の段階10に関する上記の議論は段階410にも当てはまる。
【００２９】
方法400の段階420は、特徴変動性を少なくとも1つの特徴に関連付ける段階を含む。方法100の段階20に関する上記の議論は段階420にも当てはまる。
【００３０】
引き続き図7を参照すると、段階430は、クラシファイアを用いて、複数のサンプルから得たサンプルのサブセットにおける1つまたは複数のサンプルの1つまたは複数のスコアを算出する段階を含む。このようなサンプル・サブセットは、サンプルの設計サブセットとして、または設計サンプルを有するものとして特徴付けすることができる。（方法400によるサンプルの設計サブセットおよび試験サブセットの使用は、上記の、図2〜4を参照した説明で概略的に説明した、設計サンプルおよび試験サンプルの使用と同じである。）クラシファイアは、上記に擬似コードを用いて説明したようにサンプル・スコアを生成する任意の識別アルゴリズムであってよい。適切なクラシファイアには、上記に列挙したクラシファイアが含まれるが、それらに限らない。
【００３１】
引き続き図7を参照すると、方法400の段階440は、420から得た特徴変動性を用いてスコア変動性を1つまたは複数のスコアのうちの少なくとも1つに関連付けることを含む。この関連付けを行う一方法は、式（1）を用いたサンプル・ベクトルの近傍におけるfj(x)の局部線形近似を使用してスコアの変動性（すなわち、スコア変動性）を見積もる段階を含む。fjの線形近似値を使用し、式（2）を用いてfjの分散を算出することができる。
【００３２】
引き続き図7および方法400を参照すると、段階450は、1つまたは複数のスコアのうちの1つまたは複数およびスコア変動性を用いてクラシファイアによる誤判別の確率を算出する段階を含む。所与のサブセットについてのこの確率を算出する一方法は、式（3）を用いた各クラスのスコア分布のガウス混合モデルを使用する段階を含む。式（3）から、特定のクラスjの誤判別の見積もられた確率は式（4）によって与えられる。この方法では続いて、特定の設計サブセットの誤判別確率が、式（5）による各クラスの和によって与えられる。
【００３３】
図8は、方法400の拡張である、本発明の方法のうちの別の方法を示している。図8に示されているように、方法500は、方法400の段階410〜450を含み、1つまたは複数のスコアのうちの1つまたは複数およびスコア変動性を用いてクラシファイアによる誤判別の確率を算出し記憶するように段階450を修正した段階460をさらに含む。確率は、たとえばメモリなどのコンピュータ読取り可能媒体に記憶することができる。
【００３４】
引き続き方法500において、段階470は、第2のクラシファイアを用いて、複数のサンプルから得たサンプルのサブセットにおける1つまたは複数のサンプルの1つまたは複数のスコアを算出する段階を含む。段階470は、段階430と同様に実行することができる。段階480は、第2のクラシファイアを用いて算出された1つまたは複数のスコアのうちの少なくとも1つに、特徴変動性を用いて第2のスコア変動性を関連付けする段階を含む。段階480は、段階440と同様に実行することができる。段階490は、第2のクラシファイアおよび第2のスコア変動性を用いて算出された1つまたは複数のスコアのうちの1つまたは複数を使用して第2のクラシファイアによる誤判別の第2の確率を算出する段階を含む。段階490は、段階450と同様に実行することができる。
【００３５】
方法500の段階を実行する際、誤判別の（第1の）確率は、第1の設計サブセットについて算出することができ、第1の確率をコンピュータ読取り可能媒体に記憶することができ、誤判別の第2の確率を他の設計サブセットについて算出することができる。このようにして、段階410で与えられたサンプル内の各設計サブセット（すなわち、訓練データセット）の誤判別の確率を算出することができる。または、方法500では、そのような確率について必ずしもすべての確率を算出しなくてもよい。段階495は、算出された複数のクラシファイアによる誤判別の確率を平均する段階である。平均は、最終的なクラシファイアの性能の見積りとして働くことができる。
【００３６】
図9は、本発明の方法のうちの別の方法を示している。方法600は、2つ以上のクラシファイアを比較する方法であり、クラシファイアの集合をランク付けするのに適している。方法600は、2つ以上のクラシファイアの見積もられた性能を比較するのに有用な方法として特徴付けることもできる。図6に示されているように、方法600は、方法500の段階410〜495を実行する段階610を含み、段階495の平均化は、複数のクラシファイアによる誤判別の複数の確率を平均して第1の最終クラシファイアの性能を見積もる段階を含む。方法600の段階620は、方法500の段階410〜495を実行し、段階495の平均化は、複数のクラシファイアによる誤判別の複数の確率を平均して第2の最終クラシファイアの性能を見積もる段階を含む。方法600は、段階630、すなわち、第1の最終クラシファイアの見積もられた性能を第2の最終クラシファイアの見積もられた性能と比較する段階も含む。このように、方法600は、2つ以上のクラシファイアの群においてどのクラシファイアの一般化が最良であるかを判定するのに適している。
【００３７】
方法600の段階610を実行する際、特徴変動性は、方法600の段階620を実行する際に使用される特徴変動性とは異なるものであってよい。方法300の段階310および320の実行に関する上記の議論は、方法600の段階610および620の実行にも当てはまる。
【００３８】
サンプル用途
本発明の方法は、たとえば、パターン認識技術によって対処されるすべての用途で使用するのに適したクラシファイアの性能を正確に見積もるのに適している。本発明の方法は、関連する用途にかかわらず、従来利用可能であったものよりも、クラシファイアの適当な「現実世界」性能の見積りを向上させることができる。たとえば、本発明の方法は、以下の用途、すなわち、医療診断、金融市場予測、自動車などの様々なシステムの部品の再検討、クレジット・カード申込み、クレジット・カード詐欺検出、小売取引き、保険申込み、任意の申込みに対する詐欺検出、部品の非破壊評価、部品の音響共鳴スペクトルの利用、個人の識別などにおけるクラシファイアの適当な性能のより正確な評価を可能にする。
【００３９】
本開示の利益を有する当業者には理解されるように、本発明の方法およびそれを実行する技術は、任意の数の様々な媒体または装置で実施することができる。たとえば、本発明の方法はどれでも1つまたは複数のプログラムによって具体化することができる。これらのプログラムは、本発明の方法を実施するための機械読取り可能命令を含んでよく、CD-ROM、フロッピィ・ディスク、ハード・ディスク・ドライブ、サーバ、メモリ・カード、RAMなどを含むがこれらに限らないいくつかの機械読取り可能媒体のどれかに記憶することができる。他の態様では、本発明の方法のどれかを特定用途向け集積回路（ASIC）などの集積回路、またはフィールド・プログラマブル・ゲート・アレイ（FPGA）で具体化することができる。他の態様では、本発明の方法のどれかをハードウェアとソフトウェアの組合せによって具体化することができ、たとえば、ある命令を、適切なファームウェアを実行するチップによって実施することができる。他の態様では、本発明の方法のどれかをソフトウェア開発者のキットなどのキットによって具体化することができる。このようなキットには、ソフトウェアだけでなく、ソフトウェアを実行する任意の対応するハードウェアを含めてよい。たとえば、キットは、コンピュータ・ボードを、そのボードによって実行すべきドライバおよびソフトウェアと一緒に含んでよい。当業者には、本開示の方法を当技術分野で既知の他の手段によって実施して同一または同様の結果を実現できることが認識されよう。すべてのそのような手段は、本発明の方法の範囲内とみなされる。
【００４０】
以下の例は、本発明の方法の特定の態様を示すものである。当業者には、以下の例で開示される技術が、これらの方法を実施する際にうまく機能することが本発明者によって発見された技術を表し、したがって、それらの方法を実施する特定の態様を構成するとみなすことができることを理解されたい。しかし、当業者には、本開示に鑑みて、開示される特定の態様に多数の変更を加えることができ、しかも本発明の方法の範囲から逸脱せずに同じまたは同様の結果が得られることを理解されたい。
【００４１】
例1
本発明の方法の、クラシファイア性能（例えば、上記の誤判別の可能性）を見積もる際の精度を評価するために、広範囲の識別精度を示す複数のクラシファイア上で本発明のうちの1つを試験した。
【００４２】
まず、合成データセットを開発した。データセットには、各サンプルが1つまたは複数の特徴によって特徴付けされる212このサンプルを含めた。212個のサンプルを2つのクラス間に均等に分割した。合計で100個の特徴を含めた。100個の特徴のうちで2つをクラス・ラベルに相関付けし、したがって、この2つは識別に有用であった。残りの98個の特徴には雑音のみを含ませた。すべての特徴に10%の特徴変動性を関連付けた。設計サブセットおよび試験サブセットを生成できる訓練データセットとして働く合成データセットから20個のサンプルを無作為に選択した。残りのデータ、すなわち192個のサンプルを検証データセットとして使用できるように保存した。
【００４３】
遺伝子アルゴリズムを使用する特徴選択技術を用いてクラシファイアの集合を生成した。正確なクラシファイアの数に対するクラシファイアの母集団が大きい場合、高い精度を有することができるのは、母集団特徴サブセットから構成されたクラシファイアの一部だけである。したがって、残りのクラシファイアは低い精度を有さなければならない。このことを考慮し、小さい指定されたサイズの特徴サブセット（3つの特徴）および総特徴サブセット（1000）の大きい指定された初期母集団に遺伝子アルゴリズム特徴選択技術を適用した。各特徴の各サブセットから線形識別クラシファイアを設計し、クラシファイアの性能を評価した。次に、試験したクラシファイアのうちでより正確なクラシファイアに使用された特徴を優先的に選択することによって、新しい特徴サブセットを生成した。このプロセスを、さらに反復しても正確なクラシファイアが見つからなくなるまで反復した。この最後の段階を収束として記述することができる。この例に使用された合成データの場合、（以下に詳しく説明する図10に示されているように）非常に正確なクラシファイアは比較的少ない。互いに相関する2つの特徴の一方を用いてより多くの平均的なクラシファイアを設計することができる。互いに相関しない特徴のみを利用することによって不正確なクラシファイアを設計することができる。
【００４４】
収束後、母集団特徴から設計されたクラシファイアは、所望の範囲の精度を示した。次に、無作為に選択された20個のサンプルの訓練データセットのみを用いて、これらのクラシファイアのそれぞれについて方法100に従って誤判別の確率を算出した。次に、検証データセットから得たサンプルに対して各クラシファイアの一般化性能を試験した。図10はこの実施結果を示している。
【００４５】
図10で、横軸は、試験中のクラシファイアの誤判別の確率を示している。縦軸は、試験中のクラシファイアの測定された性能を示している。実線は、完全な解決、すなわち、測定された性能が予想された性能に等しいことを示している。円は、本発明の方法よりも前に通常適用されていた尺度に基づいて861個のクラシファイアについて算出された誤判別の確率、すなわち、相互検証誤差の数を示している。図10の逆さまの三角形は、上述のように（すなわち、収束手順によって）算出された同じ861個のクラシファイアの誤判別の確率である。
【００４６】
使用した本発明の方法の態様では、1組の予想は、従来適用されていた尺度よりも実線の周りの分散が少なかった。この観測は、2つの手段、すなわち、rms誤差および相関係数で定量化することができる。rms誤差は、クラシファイアの集合または群における絶対誤差の尺度である。しかし、ランク付けクラシファイア性能のみが必要とされる用途では、見積りの絶対精度よりも、2つ以上のクラシファイアの性能を比較する能力の方が重要である。このような場合、相関係数、すなわち、予想された性能と測定された性能との相関または比の方が優れた指標となる。
【００４７】
【表１】
2005524131.tif 000007
【００４８】
表1の結果に示されているように、使用した本発明の方法の態様は、広く使用されている他の方法によって得られる見積りよりも著しく正確な性能の見積りを与える。
【００４９】
例2
本明細書で説明する段階、特に方法100に関連して実行すべき段階を実行するのに適したSソース・コードを以下に示す。このソース・コードは例示的なものに過ぎず、特許請求の範囲を制限しない。このソース・コードは、本発明の方法に関連する段階を実行する特定の一態様を表しているに過ぎず、この点において読者の都合上含められている。本開示の利益を有する当業者には、本発明の方法を実施するうえで広範囲の計算技術および／または様々な種類の対応するソース・コードを使用できることが認識されよう。以下のコードにおける式1〜5の参照は、上記の式（1）〜（5）の参照である。
クラシファイア・スコア<-関数（データ、cl、変動性）｛
#クラシファイア性能見積りの実証
#バイナリ・ダイアゴナルqdaクラシファイア用
#事前確率はサンプルの割合に等しいと仮定する。
#leave-one-out相互検証
#入力
#データ−n行Xm列行列
#    n個のサンプル
#    m個の特徴
#cl−長さがサンプルn個分のベクトル
#    i番目の要素はi番目のサンプルを示す。
#変動性−長さが特徴m個分のベクトル
#    i番目の要素はi番目の特徴を示す。
サンプルの数<-長さ(cl)
クラス0の数<-長さ(cl=0)
クラス1の数<-長さ(cl=1)
誤判別確率クラス0<-0
誤判別確率クラス1<-0
#サンプルの設計サブセットにわたってループ
(1:サンプルの数におけるi)のため{
#試験のために訓練から1つのサンプルを除去する。
データ2<-データ[-i,]
cl2<-cl[-i]
平均クラス0<-平均(データ2[cl2=0,])
平均クラス1<-平均(データ2[cl2=1,])
標準偏差クラス0<-適用(データ[cl2=0,],2,変数)^.5
標準偏差クラス1<-適用(データ[cl2=1,],2,変数)^.5
クラス0からの距離<-和(((データ[i,]-平均クラス0)/標準偏差クラ          ス0)^2)^.5
クラス1からの距離<-和(((データ[i,]-平均クラス1)/標準偏差クラ          ス1)^2)^.5
#サンプル・スコア
スコア<-クラス0からの距離-クラス1からの距離
#勾配算出（式1）
スコアのグラジエン<-(1/クラス0からの距離)*(1/標準偏差クラス0^2)-(1/クラス1からの距離)*(1/標準偏差クラス1^2)
#分散算出（式2）
スコアの分散<-和((スコアの勾配^2)*(変動性^2))
#式3、4
もし、(cl[i  =0){
誤判別確率クラス0<-誤判別確率クラス0+(1.-p正規(0、スコア、スコアの分散^.5))/クラス0の数}
上記以外、{
誤判別確率クラス1<-
誤判別確率クラス1+p正規(0、スコア、スコアの分散^.5))/クラス1の数}
}
#式5
誤判別<-
(クラス0の数*誤判別確率クラス0+クラス1の数*誤判別確率クラス1)/(クラス0の数+クラス1の数)
クラシファイア・スコア<-1.-誤判別
#クラシファイア性能の見積り
リターン（クラシファイア・スコア）
}
【図面の簡単な説明】
【００５０】
【図１】本発明の方法のうちの1つの各段階を示すフローチャートである。
【図２】本発明の方法と一緒に使用することのできるサンプルの設計サブセットおよび試験サブセットの1構成を示す図である。
【図３】本発明の方法と一緒に使用することのできるサンプルの設計サブセットおよび試験サブセットの他の構成を示す図である。
【図４】本発明の方法と一緒に使用することのできるサンプルの設計サブセットおよび試験サブセットの他の構成を示す図である。
【図５−９】本発明の様々な態様の各段階を示すフローチャートである。
【図１０】本発明の方法の一態様を用いて算出されたクラシファイア性能の見積りを、従来の方法を用いて生成されたクラシファイア性能の見積りと比較した結果を示す図である。
【図１】
2005524131.tif 000008
【図２】
2005524131.tif 000009
【図３】
2005524131.tif 000010
【図４】
2005524131.tif 000011
【図５】
2005524131.tif 000012
【図６】
2005524131.tif 000013
【図７】
2005524131.tif 000014
【図８】
2005524131.tif 000015
【図９】
2005524131.tif 000016
【図１０】
2005524131.tif 000017
【国際調査報告】
2005524131.tif 000018
2005524131.tif 000019