(57)【要約】  特徴の変数増加法および変数減少法に適用可能な特徴選択の方法が提供される。方法は、各々の分類器のＲＯＣ曲線下面積の推定に基づいて、分類器の入力として使用されるべき特徴を選択する。模範的な適用は、在宅介護または患者監視、身体センサー・ネットワーク、環境監視、画像処理、および質問作成におけるものである。
2009507286.tif 000002
【特許請求の範囲】
【請求項１】
複数のクラスの分類器への入力として特徴を自動的に選択する方法であって、
前記分類器の各クラスの受信者動作特性曲線下面積の推定を計算することと、前記推定に基づいて前記特徴を選択することとを含む、複数のクラスの前記分類器への入力として特徴を自動的に選択する方法。
【請求項２】
前記推定は、各クラスの前記曲線下面積の事前確率加重和として計算された期待される前記曲線下面積に基づいて計算される請求項１に記載の方法。
【請求項３】
前記選択することは、特徴の集合から開始することと、特徴を繰り返し除去することとを含み、前記特徴はその除去が結果として生じる部分集合の前記推定の最小の変化をもたらすように選択される請求項２に記載の方法。
【請求項４】
前記選択することは、空部分集合から開始することと、前記部分集合に特徴を繰り返し追加することとを含み、前記特徴はその除去が結果として生じる部分集合の前記推定の最大の変化をもたらすように選択される請求項２に記載の方法。
【請求項５】
前記変更は、前記特徴および残りの特徴の選択のみを考慮することにより前記部分集合の特徴ごとに推定される請求項３または請求項４に記載の方法。
【請求項６】
前記変化は、前記残りの特徴の前記選択および前記特徴の前記期待される前記曲線下面積の前記推定と、前記残りの特徴の前記選択の前記期待される前記曲線下面積の前記推定との間の差異として計算される請求項５に記載の方法。
【請求項７】
前記方法は、前記特徴と前記部分集合内の残りの各特徴のそれぞれの差分測度を計算すること、前記選択にそれぞれ最小の差分測度を有する前記残りの特徴の所定数を選択することを含む請求項５または６に記載の方法。
【請求項８】
前記それぞれの差分測度は、前記特徴の前記期待される前記曲線下面積の前記推定と、前記特徴および前記それぞれの残りの特徴の前記期待される前記曲線下面積の前記推定との間の差異である請求項７に記載の方法。
【請求項９】
前記差異測度は、前記特徴のいずれかを選択する前に前記集合のすべての特徴に対して計算される請求項７または８に記載の方法。
【請求項１０】
前記部分集合が所定の数の特徴を含むまで前記部分集合に特徴が追加されるかまたは前記部分集合から除去される請求項３から９のいずれか一項に記載の方法。
【請求項１１】
前記推定が望ましいレベルに到達するまで前記部分集合に特徴が追加されるかまたは前記部分集合から除去される請求項３から９のいずれか一項に記載の方法。
【請求項１２】
１つまたは複数の特徴が１つまたは複数のセンサーからの１つまたは複数のチャネルから導かれる請求項１から１１のいずれか一項に記載の方法。
【請求項１３】
前記センサーは、空気、水、または土の品質を示す数量を測定する環境センサーを含む請求項１２に記載の方法。
【請求項１４】
１つまたは複数の特徴が画像処理によってデジタル画像から導かれる請求項１から１１のいずれか一項に記載の方法。
【請求項１５】
前記導かれる特徴は前記画像のテクスチャー配向、パターン、または色を表す請求項１４に記載の方法。
【請求項１６】
１つまたは複数の特徴はバイオマーカーの動作を表す請求項１から１１のいずれか一項に記載の方法。
【請求項１７】
前記バイオマーカーの前記動作は、前記バイオマーカーに関連付けられているターゲットの存在または不在を表す請求項１６に記載の方法。
【請求項１８】
前記ターゲットは、核酸、ペプチド、タンパク質、ウィルス、または抗原である請求項１７に記載の方法。
【請求項１９】
前記特徴は世論調査およびアンケート調査の質問を含む請求項１から１１のいずれか一項に記載の方法。
【請求項２０】
ある環境において複数のセンサーのセンサー・ネットワークを定義する方法であって、
前記センサーに対応する特徴のデータセットを取得することと、請求項１から請求項１９のいずれか一項に記載の方法に従って分類器への入力として特徴を選択することとを含む環境において複数の前記センサーのセンサー・ネットワークを定義する方法。
【請求項２１】
選択されていない特徴に対応する任意のセンサーを前記環境から除去することを含む請求項２０に記載の方法。
【請求項２２】
請求項２０または２１に記載の方法を使用して定義されるセンサー・ネットワーク。
【請求項２３】
請求項２２に記載のセンサー・ネットワークを含む在宅介護または患者監視環境。
【請求項２４】
請求項２２に記載のセンサー・ネットワークを含む身体センサー・ネットワーク。
【請求項２５】
請求項１から２１のいずれか一項に記載の方法を実施するように配置されたコンピュータ・システム。
【請求項２６】
コンピュータ上で実行されるとき請求項１から２１のいずれか一項に記載の方法を実施するコード命令を備えるコンピュータ・プログラム。
【請求項２７】
請求項２６に記載のコンピュータ・プログラムを搭載するコンピュータ可読媒体またはデータストリーム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、分類器の入力としての特徴の選択に関する。特に、特徴は、たとえば在宅介護環境などにおけるセンサー・ネットワークのセンサーの出力を表すが、これらに限定されることはない。
【背景技術】
【０００２】
次元縮約（dimensionality  reduction）の技法は、教師あり機械学習の分野において大きな注目を集めてきた。一般的に言うと、特徴抽出および特徴選択という２つの方法のグループがある。特徴抽出において、所定の特徴は、より低い次元空間に変換され、その際に情報の損失が最小に抑えられる。１つの特徴抽出技法は、主成分分析（ＰＣＡ；Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）であり、これは複数の相関変数を複数の無相関な変数（または主成分）に変換するものである。一方、特徴選択の場合、新しい特徴が作成されることはない。次元数は、無関係かつ冗長な特徴を除去することにより縮約される。無関係（または冗長な）特徴は、実質的に、目標の概念に関する情報（または新しい情報）を全くもたらさない。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特徴選択の目的は、無関係かつ冗長な特徴を除去することにより、帰納システムの複雑さを軽減することにある。この技法は、計算コストおよび記憶装置を減少させるため、および予測精度を高めるために、機械学習の分野においてますます重要性を増しつつある。理論的には、高次元モデルは、低次元モデルに比べて精度が高い。しかし、推論システムの計算コストは、その次元数に応じて飛躍的に増大するので、精度と全体的な計算コストとのバランスを取る必要がある。一方、高次元モデルの精度は、モデルが不十分なトレーニング・データを基に構築される場合、低下する可能性もある。この場合、モデルは、情報構造体の十分な記述を行うことができない。不明のシステムの固有の構造体を理解するために必要とされるトレーニング・データの量は、その次元数にともなって急激に増大する。不明確な記述は、学習アルゴリズムが無関係な特徴によってもたらされた擬似の構造体により混乱した場合に、重大な過剰適合（over-fitting）の問題を引き起こすおそれもある。コンピュータで扱いやすいシステムを得るために、全体的なパフォーマンスにほとんど寄与することのない、有益な情報をあまり提供しない特徴は、除去される必要がある。さらに、膨大量のサンプルデータを収集する高コストは、無関係かつ冗長な特徴を除去する効率的な選択法を望ましいものにしている。
【０００４】
機械学習において、特徴選択方法は多くの場合、特徴選択と帰納アルゴリズムとの関係により区別される、ラッパー手法とフィルタ手法という２つのグループに分類されうる。ラッパー手法は、帰納アルゴリズムの推定精度を使用して、候補の特徴部分集合を評価する。一方、フィルタは、データから直接に学習され、特定の帰納アルゴリズムとは無関係に動作する。この方法は、目標概念への分類に関して、各々の情報の内容に基づいて候補部分集合の「優良性」を評価する。フィルタは、帰納アルゴリズムとトレーニング・データセットに組み込まれている情報構造体との間の特定の相互作用に合わせては調整されない。十分な特徴を与えられて、フィルタベースの方法は、データの基礎構造体に関して可能な限り多くの情報を保持するような方法で特徴を除去しようと試みる。
【課題を解決するための手段】
【０００５】
前述の問題が明らかとなる適用の１つの模範的な分野は、在宅介護環境における患者の監視である。通常、そのような監視は、患者が身につけた行動センサー（たとえば、加速度センサー）、患者の身体状態を監視するセンサー（たとえば、体温、血糖値、心拍数と呼吸数）、および、たとえば照明のオンオフ切り替えまたはドアの開閉を検出できる動作探知機または電気スイッチであってもよい家庭全体に分散されるセンサーを含む、多数のセンサーから収集されるデータを分析することを伴う。在宅介護監視システムは、患者ごとに個別にセットアップされることが必要になる場合もある。いずれにしても、在宅介護監視システムの出力を受信する分類器をトレーニングするために膨大量のトレーニング・データを収集することは、監視システムが直前に配備されるような場合には不可能になることがある。したがって、分類器の入力特徴を選択する効率的なアルゴリズムは、在宅介護監視の状況において特に望ましい。
【０００６】
本発明の第１の態様において、請求項１に定義される分類器への入力として特徴を自動的に選択する方法が提供される。有利なことに、分類器の受信者動作特性曲線（a receiver operating characteristic curve）の下の面積を使用することにより、分類パフォーマンスを直接表す測度が選択に使用される。
【０００７】
推定は、分類器のすべてのクラスにわたる期待される曲線下面積（expected area under the curve）に基づくことが好ましい。特徴選択は、すべての使用可能な特徴の全体集合で開始し、集合から特徴を繰り返し除外することによって特徴の数を減らすことができる。代替として、アルゴリズムは、特徴の空集合で開始して、特徴を繰り返し追加してもよい。除外される（追加される）特徴は、推定の最小の（最大の）変化をもたらすような特徴である。
【０００８】
有利なことに、変化は、前記特徴を考慮することにより、また残りの特徴すべてではなく選ばれた特徴のみを選択することにより、特徴ごとに推定されうる。そうすることで、アルゴリズムの計算上の要件を軽減する。次いで、この変化は、前記特徴を伴う選択された残りの特徴の期待される曲線下面積と、前記特徴を含まない選択された残りの特徴の期待される曲線下面積との間の差異として計算されうる。
【０００９】
方法は、前記特徴と、部分集合内の残りの各特徴の差分測度を計算すること、および選択に最小の差分測度を有する所定数の他の特徴を選択することを含むことができる。差分測度は、前記特徴の期待される曲線下面積と、前記特徴および残りの特徴の期待される曲線下面積との間の差異であってもよい。有利なことに、差分測度は、特徴の任意の選択が行われる前に集合のすべての特徴に対して事前に計算されうる。差分測度はアルゴリズムの最初に一度再計算される必要があるだけなので、このようにすることは計算の効率のさらなる向上をもたらす。特徴は、分類に使用されるべき部分集合内の特徴の数が所定のしきい値と等しくなるまで、あるいは代替として、期待される曲線下面積のしきい値に達するまで、除外（または追加）されてもよい。
【００１０】
特徴は、１つまたは複数のセンサーの１つまたは複数のチャネルから好ましく導かれる。たとえば、センサーは、空気、水、または土の品質を示す数量を測定する環境センサーを含むこともできる。代替として、特徴は、画像処理によってデジタル画像から導かれてもよく、たとえば、画像のテクスチャー配向、パターン、色を表してもよい。１つまたは複数の特徴はバイオマーカーの動作を表してもよく、これはたとえば核酸、ペプチド、タンパク質、ウィルス、または抗原などのバイオマーカーに関連付けられているターゲットの存在または不在を表してもよい。
【００１１】
本発明のさらなる態様において、請求項２０に定義されるようなセンサー・ネットワークを定義する方法が提供される。方法は前述のアルゴリズムを使用する。好ましくは、アルゴリズムによって選択されない特徴に対応するセンサーがネットワークから除去される。
【００１２】
本発明はさらに、請求項２２に定義されるようなセンサー・ネットワーク、請求項２３に定義されるような在宅介護または患者監視環境、および請求項２４に定義されるような身体センサー・ネットワークにまで及ぶ。本発明はさらに、請求項２５に定義されるようなシステム、請求項２６に定義されるようなコンピュータ・プログラム、および請求項２７に定義されるようなコンピュータ可読媒体またはデータストリームにまで及ぶ。
【００１３】
したがって、以下に説明される実施形態は、一般にマルチセンサー環境における使用、ならびに特に一般患者および／または健常者の監視および広範囲の健康管理に適している。
【００１４】
本発明の実施形態は、これ以降、例示のみにより、また添付の図面を参照して説明される。
【発明を実施するための最良の形態】
【００１５】
ベイズの特徴選択のフレームワーク（ＢＦＦＳ；Ｂａｙｅｓｉａｎ  Ｆｒａｍｅｗｏｒｋ  ｆｏｒ  Ｆｅａｔｕｒｅ  Ｓｅｌｅｃｔｉｏｎ）は、概して、ベイズの理論および受信者動作特性（ＲＯＣ）分析に基づく特徴選択アルゴリズムの開発に関係する。提案される方法は以下の特性を有する。
・  ＢＦＦＳは、特徴の統計的分布に純粋に基づくので、特定のモデルに偏ることはない。
・  特徴選択基準は、ＲＯＣの期待される曲線下面積（ＡＵＣ）に基づく。したがって、導かれる特徴は、理想的な分類器の感度および特異性の観点から最善の分類パフォーマンスをもたらすことができる。
【００１６】
ベイズの推論において、事後確率は、使用可能な情報を要約するので、合理的なオブザーバが決定を行うために使用される。条件付き独立性に基づく適合性の測度を定義することができる。つまり、特徴
【数１】
2009507286.tif 000003
の集合を所与として、特徴ｙ（クラスラベル）および
【数２】
2009507286.tif 000004
の２つの集合は、ｙの任意の代入に対して、
Ｐｒ（ｆ（１），ｆ（２））≠０であれば常に、
Ｐｒ（ｙ|ｆ（１））＝Ｐｒ（ｙ|ｆ（１），ｆ（２））  （１）
である場合、条件付きで独立または無関係である（つまりｆ（１）を所与として、ｆ（２）は情報をさらに提供することはない）。
【００１７】
本明細書において、ｆ（１）を所与としてｙおよびｆ（２）の条件付き独立性を示すために、Ｉ（ｙ、ｆ（２）|ｆ（１））の表記を使用する。ｆ（１）、ｆ（２）およびｙは、普遍性を失うことなく互いに素であることが仮定される。
【００１８】
最適な特徴部分集合選択は、候補特徴部分集合を選択する検索法と、それらの候補を評価する評価関数という２つの主要な課題を伴う。図１は、特徴選択の標準的なモデルを示す図である。
【００１９】
候補部分集合選択の検索スペースのサイズは２Ｎ、つまり、特徴選択方法はＮ個の特徴を所与とする２Ｎ個の候補部分集合の中で最善の１つを見い出す必要があるということである。一例として、図２は、３つの特徴の検索スペースを示す。スペース内の各状態は、候補特徴部分集合を表す。たとえば、状態１０１は、第２の特徴が含まれないことを示す。
【００２０】
検索スペースのサイズは入力特徴の数に応じて急激に増大するので、スペースの全数検索は実際的ではない。その結果、欲張り法（ｇｒｅｅｄｙ  ｓｅａｒｃｈ）または分岐限定法（ｂｒａｎｃｈ  ａｎｄ  ｂｏｕｎｄ  ｓｅａｒｃｈ）のような発見的検索法が必要となる。変数増加法（forward selection）は検索法が空特徴集合から開始することを示すが、変数減少法（backward elimination）は検索法が全体特徴集合から開始することを示す。一例として、ＫｏｌｌｅｒおよびＳａｈａｍｉは、「Ｔｏｗａｒｄｓ  ｏｐｔｉｍａｌ  ｆｅａｔｕｒｅ  ｓｅｌｅｃｔｉｏｎ」Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  １３ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ（イタリア、バリ、１９９６年、２８４〜２９２頁）において、期待クロスエントロピー評価に基づいた特徴の「マルコフブランケット」を見い出すための順次欲張り逆方向検索アルゴリズムを提案した。
【００２１】
ベイズの規則を使用することにより、ｙ＝αの代入に対して、式（１）は以下のように書き換えられうる。
【数３】
2009507286.tif 000005
【００２２】
したがって、同等の適合性の定義を得ることができる。特徴
【数４】
2009507286.tif 000006
の集合を所与として、特徴ｙおよび
【数５】
2009507286.tif 000007
の２つの集合は、ｙ＝αの任意の代入に対し、
Ｐｒ（ｆ（１），ｆ（２））≠０であれば常に、Ｌ（ｆ（１）｜｜ｙ≠α、ｙ＝α）＝Ｌ（ｆ（１），ｆ（２）｜｜ｙ≠α、ｙ＝α）である場合、条件付きで独立または無関係である。
ここで、Ｌ（ｆ｜｜ｙ≠α、ｙ＝α）は尤度比であり、
【数６】
2009507286.tif 000008
【００２３】
ＲＯＣは、決定変数として尤度比またはその相当値を使用することにより生成されてもよい。１組の尤度を所与として、分類器の実現しうる最善のパフォーマンスは、対応するＲＯＣによって記述されうるが、これはｙ＝αとｙ≠αを区別するために使用される尤度比のしきい値を変更することによりネイマン−ピアソンの序列化手順（ranking procedure）を介して取得されうる。２つの尤度Ｐｒ（ｆ｜ｙ≠α）およびＰｒ（ｆ｜ｙ＝α）を所与として、フォールスアラーム（ｆ）およびヒット（ｈ）率は、ネイマン−ピアソンの手順に従って以下の式によって定義される。
【数７】
2009507286.tif 000009
ここで、βはしきい値、Ｌ（ｆ｜｜ｙ≠α、ｙ＝α）は（２）によって定義される尤度比である。
【００２４】
所与のβに対して、ＰｈおよびＰｆの組が計算されうる。βが∞から０に変化すると、ＰｈおよびＰｆは０％から１００％に変化する。したがって、ＲＯＣ曲線は、尤度比のしきい値を変更することにより得られる。
【００２５】
図３は、ヒット率（ｈ）とフォールスアラーム率（ｆ）の関係を表すＲＯＣ曲線、および曲線下面積（ＡＵＣ）を示す。図３の右側は、ＡＵＣと特徴の数の関係を表す概略グラフを示す。図に示され、以下で説明されるように、ＡＵＣは特徴の数に応じて単調に増加する。同時に、前述の考慮事項は、分類器で合理的に使用されうる特徴の数に制限を設ける。以下で説明される本発明の実施形態は、分類器に使用すべき特徴を選択するためのアルゴリズムを提供する。概略では、ＡＵＣに最大の寄与を行う特徴は、空集合に１つずつ追加される。代替として、ＡＵＣに最小の寄与を行う特徴は、特徴の全体集合から１つずつ除去される。図３の網掛け領域は、選択された特徴のＡＵＣを表す。
【００２６】
上記の表記に基づいて、仮に
【数８】
2009507286.tif 000010
および
【数９】
2009507286.tif 000011
とすれば、Ｐｒ（ｆ（１）｜≠α）、Ｐｒ（ｆ（１）｜ｙ＝α）、およびＰｒ（ｆ（１），ｆ（２）｜ｙ≠α）、Ｐｒ（ｆ（１）、ｆ（２）｜ｙ＝α）の２組の尤度分布を所与として、ネイマン−ピアソンの手順から得られた２つの対応するＲＯＣ曲線ＲＯＣ（ｆ（１）｜｜ｙ≠α，ｙ＝α）およびＲＯＣ（ｆ（１），ｆ（２）｜｜ｙ≠α，ｙ＝α）を有することが証明されうる。その結果、以下のとき、かつそのときに限りＲＯＣ（ｆ（１）｜｜ｙ≠α，ｙ＝α）＝ＲＯＣ（ｆ（１），ｆ（２）｜｜ｙ≠α，ｙ＝α）であり、
Ｌ（ｆ（１）｜｜ｙ≠α，ｙ＝α）＝Ｌ（ｆ（１），ｆ（２）｜｜ｙ≠α，ｙ＝α）
ここで、Ｌ（ｆ｜｜ｙ≠α、ｙ＝α）は、（６．２）で定義される尤度比である。さらに、ＲＯＣスペースのいずれの点においても、ＲＯＣ（ｆ（１），ｆ（２）｜｜ｙ≠α，ｙ＝α）がＲＯＣ（ｆ（１）｜｜ｙ≠α，ｙ＝α）の下にはないことが証明されうる。
【００２７】
これらの証明に基づいて、特徴
【数１０】
2009507286.tif 000012
の集合を所与として、特徴ｙおよび
【数１１】
2009507286.tif 000013
の２つの集合は、ｙ＝αの任意の代入に対し、
ＲＯＣ（ｆ（１），ｆ（２）｜｜ｙ≠α，ｙ＝α）＝ＲＯＣ（ｆ（１）｜｜ｙ≠α，ｙ＝α）である場合、条件付きで独立または無関係であり、
ここで、ＲＯＣ（ｆ（１），ｆ（２）｜｜ｙ≠α，ｙ＝α）およびＲＯＣ（ｆ（１）｜｜ｙ≠α，ｙ＝α）は、それぞれ２組の尤度分布Ｐｒ（ｆ（１），ｆ（２）｜ｙ≠α）、Ｐｒ（ｆ（１）、ｆ（２）｜ｙ＝α）およびＰｒ（ｆ（１）｜≠α）、Ｐｒ（ｆ（１）｜ｙ＝α）を所与としてネイマン−ピアソンの手順から計算されたＲＯＣ曲線であるということがわかる。
【００２８】
一般的に言うと、２つのＲＯＣ曲線は、同じＡＵＣを有する場合、等しくなくてもよい。ｆ（１）はｆ（１）の部分集合とｆ（２）の和であるので、以下のような条件付き独立性およびその関連のもう１つの定義を取得することができる。つまり、特徴
【数１２】
2009507286.tif 000014
の集合を所与として、特徴ｙおよび
【数１３】
2009507286.tif 000015
の２つの集合は、ｙ＝αの任意の代入に対し、
ＡＵＣ（ｆ（１），ｆ（２）｜｜ｙ≠α，ｙ＝α）＝ＡＵＣ（ｆ（１）｜｜ｙ≠α，ｙ＝α）である場合、条件付きで独立または無関係であり、
ここで、ＡＵＣ（ｆ（１），ｆ（２）｜｜ｙ≠α，ｙ＝α）およびＡＵＣ（ｆ（１）｜｜ｙ≠α，ｙ＝α）は、それぞれ２組の尤度分布Ｐｒ（ｆ（１），ｆ（２）｜ｙ≠α）、Ｐｒ（ｆ（１）、ｆ（２）｜ｙ＝α）およびＰｒ（ｆ（１）｜ｙ≠α）、Ｐｒ（ｆ（１）｜ｙ＝α）を所与としてネイマン−ピアソンの手順から計算されたＲＯＣ曲線下面積である。
【００２９】
上記の記述は、意思決定のパフォーマンスおよび特徴集合の全体的な区別能力に対する特徴選択の影響を指摘している。これは、無関係な特徴は理想的な推論のパフォーマンスに全く影響を及ぼさないこと、また全体的な区別能力は無関係な特徴に影響を受けないことを示す。
【００３０】
要約すると、特徴の条件付き独立性は、ＡＵＣにより測定されうる特徴の固有の区別能力によって決まる。前述のフレームワークは、条件付き独立性の特性を解釈するために適用されてもよい。たとえば、以下の分解特性、
【数１４】
2009507286.tif 000016
および以下の縮約特性、
【数１５】
2009507286.tif 000017
つまり、
【数１６】
2009507286.tif 000018
を取得することができる。
【００３１】
上記の式Ａ⇒Ｂは、ＢがＡ（ｉｆＡ，ｔｈｅｎＢ（ＡならばＢ））から得られることを表し、Ｉ（Ａ，Ｂ）は、ＡとＢとが独立していることを意味する。
【００３２】
前述の単調特性は、特徴集合の全体的な区別能力はグラフメタファーによって表されうることを示している。図４において、概念を分離するために組み合わされた能力は、各特徴部分集合の区別能力の和集合によってグラフィカルに表される。内側の曲線および外側の円によって囲まれている各領域は、特徴の区別能力を表す。特徴の間には重複があってもよい。全体的区別能力は、外側円に囲まれる領域の面積によって表される。各特徴部分集合は、区別能力全体の一部を占める。特徴部分集合の間には重複があってもよい。１つの特徴部分集合が他の特徴部分集合によって完全に重複している場合、追加の情報を提供することはないので、全体的区別能力を失うことなく安全に除去されうる。特徴部分集合によって占有される位置および面積は新しい特徴が含まれるときに変化する可能性があることが指摘される必要がある。
【００３３】
（前述のように）縮約および分解の特性を適用することにより、特徴選択に以下の特性を有する。
【数１７】
2009507286.tif 000019
【００３４】
上記の式において、Ｉ（ｙ，ｆ（３）｜ｆ（１），ｆ（２））およびＩ（ｙ，ｆ（２）｜ｆ（１））は、２ステップの減少を表す、つまりｆ（３）の特徴はｆ（１）およびｆ（２）の特徴が与えられたときに除去されうる。この直後には、ｆ（１）の特徴の存在によりｆ（２）の特徴のもう１つの減少が続きうる。Ｉ（ｙ，ｆ（３）｜ｆ（１））は、ｆ（２）の特徴が除去された後、ｆ（３）の特徴は無関係のままであることを示す。その結果、変数減少プロセスに従うことによって、反復ごとに真に無関係な特徴のみが除去される。一般に、変数減少法はこのように、変数増加法に比べて特徴相互作用の影響を受けにくい。
【００３５】
強い和集合の特性Ｉ（ｙ，ｆ（２）｜ｆ（１））⇒（ｙ，ｆ（２）｜ｆ（１），ｆ（３））は一般に条件付き独立性を満たさないので、無関係な特徴は、さらに多くの特徴が追加された場合に関連するようになりえる。理論的には、このことは、低次元近似の能力または変数増加アルゴリズムを制限する可能性もある。しかし、実際には、変数増加法および以下に提案される近似アルゴリズムは、大きい区別能力を備え、新しい情報を提供する特徴を選択する傾向がある。たとえば、変数増加アルゴリズムは、大きな特徴の集合のほんのわずかな部分のみが関連し、特徴間の相互作用が有力な効果であるとは期待されないことが知られているような状況において、好ましいと考えられる。
【００３６】
ここで、多数クラスの場合を考察して、クラスラベルｙの可能な値の集合は、Ｎをクラスの数として、｛αｉ，ｉ＝１，Ｎ｝であることを示す。ＡＵＣ（ｆ｜｜ｙ≠αｉ，ｙ＝αｉ）は、Ｐｒ（ｆ｜ｙ≠αｉ）およびＰｒ（ｆ｜ｙ＝αｉ）のＲＯＣ曲線下面積を表す。クラスに対するＡＵＣの期待値は、特徴選択の評価関数として使用されうる。
【数１８】
2009507286.tif 000020
【００３７】
上記の式において、事前確率(Prior Probabilities)Ｐｒ（ｙ＝αｉ）は、データから推定されうるか、または誤判断コストを考慮するように経験的に決定されうる。評価関数としての期待ＡＵＣの使用は、感度および特異性の同じ原理に従う。ＥＡＵＣ（ｆ（１），ｆ（２））＝ＥＡＵＣ（ｆ（１））がＡＵＣ（ｆ（１），ｆ（２）｜｜ｙ≠αｉ，ｙ＝α）＝ＡＵＣ（ｆ（１）｜｜ｙ≠α，ｙ＝αｉ），｛ｉ ＝１，Ｎ｝と等しい、つまりｆ（１）の特徴を所与としてｆ（２）の特徴が無関係であると証明することは困難ではない。ＥＡＵＣ（ｆ）はまた、特徴数と共に増大する単調関数であり、０．５≦ＥＡＵＣ（ｆ）≦１．０である。バイナリクラスの場合、ＥＡＵＣ（ｆ）＝ＡＵＣ（ｆ｜｜ｙ＝α１，ｙ＝α２）＝ＡＵＣ（ｆ｜｜ｙ＝α２，ｙ＝α１）、つまりＥＡＵＣ（ｆ）の計算は事前確率による影響を受けない。
【００３８】
複数クラスの状況において期待ＡＵＣを計算するために尤度分布を使用するため、（６）のＰｒ（ｆ｜ｙ≠αｉ）を評価する必要がある。ベイズの規則を使用することにより、以下の式が得られ、
【数１９】
2009507286.tif 000021
ここで、
【数２０】
2009507286.tif 000022
【００３９】
ＡＵＣ（ｆ｜｜ｙ＝αｋ，ｙ＝αｉ）およびＡＵＣ（ｆ｜｜ｙ≠αｉ，ｙ＝αｉ）を計算するための決定変数および決定規則が同じであると仮定することにより、以下の式が得られ、
【数２１】
2009507286.tif 000023
ここで、ＡＵＣ（ｆ｜｜ｙ＝αｋ，ｙ＝αｉ）は、２つの尤度分布Ｐｒ（ｆ｜ｙ＝αｋ）およびＰｒ（ｆ｜ｙ＝αｉ）（ｉ≠ｋ）を所与とするＲＯＣ曲線下面積を表す。
【００４０】
式（８）は、複数クラスの場合のＡＵＣ（ｆ｜｜ｙ≠αｉ，ｙ＝αｉ）を評価するために使用される。（６）に（８）を代入することにより、以下の式が得られる。
【数２２】
2009507286.tif 000024
【００４１】
無関係の特徴の除去または追加は期待ＡＵＣを変更することはないので、変数減少および変数増加の欲張り選択（フィルタ）アルゴリズムはいずれも、評価関数として期待ＡＵＣを使用するように設計されうる。
【００４２】
本発明の変数減少法の実施形態は、特徴選択に欲張りアルゴリズムを提供する。このアルゴリズムは、全体特徴集合から開始し、反復ごとに１つずつ特徴を除去する。除去されるべき特徴ｆｊ∈ｆ（ｋ）は、以下の式を使用することにより決定される。
【数２３】
2009507286.tif 000025
ここで、ｆ（ｋ）＝｛ｆｉ，１≦ｉ≦Ｌ｝はｋ番目の反復後の一時特徴集合であり、ｆ（ｋ）＼｛ｆｉ｝はｆｉが除去された集合ｆ（ｋ）である。
【００４３】
図５を参照すると、変数減少法の実施形態のアルゴリズムは、すべての特徴が選択される最初の初期化ステップ２を有し、ステップ２の後には、前述のようにＡＵＣに最小の寄与を行う特徴を除外するステップ４が続く。ステップ６において、アルゴリズムは、望ましい数の特徴が選択されているかどうかを検査し、選択されていない場合、特徴除外ステップ４にループバックする。望ましい数の特徴が選択されている場合、アルゴリズムは制御を戻す。
【００４４】
変数減少法の実施形態と同様に、変数増加法の実施形態も特徴選択のアルゴリズムを提供する。図６を参照すると、アルゴリズムは、ステップ８において空集合を選択することにより初期化し、ステップ１０においてＡＵＣに最大の寄与を行う特徴を分類器に選択された特徴の集合に追加する。再度、ステップ１２は、望ましい特徴の数に到達しているかどうかを検査し、到達していない場合、望ましい特徴の数に到達するまでステップ１０にループバックして、アルゴリズムは制御を戻す。
【００４５】
前述の変数増加法および変数減少法の実施形態において、停止条件（ステップ６および１２）は、選択されている特徴の集合が望ましい特徴数を有しているかどうかを検査する。代替として、停止基準は、期待ＡＵＣが所定のしきい値に到達しているかどうかを検査することができる。つまり、変数減少法の場合、アルゴリズムは、期待ＡＵＣがしきい値を下回るまで続行する。確実にしきい値が期待ＡＵＣの下限を表すようにするため、最後に除去された特徴は、選択された集合に再度追加されうる。変数増加法の場合、アルゴリズムは、期待ＡＵＣがしきい値を超えると終了することができる。
【００４６】
高次元空間においてＡＵＣを推定することは、多大な時間を要する。推定尤度分布の精度は、限定されたトレーニングサンプルを与えられる特徴の数と共に急激に減少し、ＡＵＣ推定に序列化エラーをもたらすことになる。したがって、近似アルゴリズムは、トレーニング・データが限定されている場合、低次元空間においてＡＵＣを推定するために必要である。
【００４７】
前述のように、特徴ｆｉの除去後の合計ＡＵＣの減少は、他の特徴との特徴の区別能力の重複に関連する。近似アルゴリズムにおいて、現在の特徴集合ｆ（ｋ）から特徴部分集合Ｓ（ｋ）を構築を試み、Ｓ（ｋ）の区別能力重複の度合いを使用してｆ（ｋ）の区別能力重複を近似する。発見的手法は、特徴ｆｉとの最大の重複を有するｆ（ｋ）からｋｓ個の特徴を選択するように設計され、我々はｆ（ｋ）の他の特徴との特徴ｆｉの区別能力重複は特徴のこの部分集合に支配されると仮定する。したがって、Ｋの特徴を選択するための変数減少法の近似アルゴリズムは、図７を参照して、以下のようになる。∪は、合併集合を表し、＼は補集合を表す。
（ａ）ｆ（ｋ）を全体特徴集合とし、ｋを全体特徴集合の大きさとする。
（ｂ）区別能力差分行列Ｍ（ｆｉ，ｆｊ）；ｆｉ∈ｆ（ｋ），ｆｊ∈ｆ（ｋ），ｆｉ≠ｆｊを計算する。
Ｍ（ｆｉ，ｆｊ）＝ＥＡＵＣ（｛ｆｉ，ｆｊ｝）−ＥＡＵＣ（｛ｆｊ｝）
（ｃ）ｋ＝Ｋである場合、ｆ（ｋ）を出力する。
（ｄ）ｆｉ∈ｆ（ｋ）（ｉ＝１、ｋ）である間
・  ｆ（ｋ）からｋｓ個の特徴を選択して、特徴部分集合Ｓ（ｋｉ）を構築する。選択の基準は、Ｍ（ｆｉ，ｆｊ）が最小となるｋｓ個の特徴ｆｊを見い出すことである。ただしｆｊ∈ｆ（ｋ），ｆｊ≠ｆｉ。
・  ＤＡＵＣを計算する。
ＤＡＵＣ（ｆｉ）＝ＥＡＵＣ（Ｓ（ｋｉ）∪｛ｆｉ｝）−ＥＡＵＣ（Ｓ（ｋｉ））
（ｅ）最小のＤＡＵＣ（ｆｉ）を持つｆｉである特徴ｆｄを選択する。ｆ（ｋ）＝ｆ（ｋ）−｛ｆｄ｝を設定。
（ｆ）ｋ＝ｋ−１、（ｃ）に進む。
【００４８】
変数増加法の近似アルゴリズムは同様であり、また図７を参照して説明される。
（ａ）ｆ（ｋ）を空とし、ｋをゼロとする。
（ｂ）区別能力差分行列Ｍ（ｆｉ，ｆｊ）；ｆｉ∈ｆ（ｋ），ｆｊ∈ｆ（ｋ），ｆｉ≠ｆｊを計算する。
Ｍ（ｆｉ，ｆｊ）＝ＥＡＵＣ（｛ｆｉ，ｆｊ｝）−ＥＡＵＣ（｛ｆｊ｝）
（ｃ）ｋ＝Ｋである場合、ｆ（ｋ）を出力する。
（ｄ）ｆｉ∈ｆ（ｋ）（ｉ＝１、ｋ）である間
・  ｆ（ｋ）からｋｓ個の特徴を選択して、特徴部分集合Ｓ（ｋｉ）を構築する。選択の基準は、Ｍ（ｆｉ，ｆｊ）が最小となるｋｓ個の特徴ｆｊを見い出すことである。ただしｆｊ∈ｆ（ｋ），ｆｊ≠ｆｉ。
・  ＤＡＵＣを計算する。
ＤＡＵＣ（ｆｉ）＝ＥＡＵＣ（Ｓ（ｋｉ）∪｛ｆｉ｝）−ＥＡＵＣ（Ｓ（ｋｉ））
（ｅ）最大のＤＡＵＣ（ｆｉ）を持つｆｉである特徴ｆｄを選択する。ｆ（ｋ）＝ｆ（ｋ）∪｛ｆｄ｝。
（ｆ）ｋ＝ｋ＋１、（ｃ）に進む。
【００４９】
ｋｓの固有値の決定は、特徴相互作用の度合いおよびトレーニング・データセットのサイズなど、複数の要因に関連する。実際には、Ｋｓは、特徴間の相互作用が強くはなく、トレーニング・データセットが限定されている場合、あまり大きくしてはならない。たとえば、ｋｓ＝｛１，２，３｝は良好な結果を生成するために見い出されており、ｋｓ＝３が好ましい。場合によっては、ｋｓ＝４または５の選択が好ましいものとされてもよい。ｋｓの選択は、トレーニング・データが限定されている場合、近似の精度と過剰適合のリスクとの間のトレード−オフを表す。
【００５０】
前述の実施形態によるアルゴリズムは、任意の種類の適切な分類器に対する入力特徴を選択するために使用されうることを理解されたい。特徴は、たとえばセンサー信号の時間サンプルが特徴の集合として使用されうるように、分類に使用される１つまたは複数のセンサーまたはセンサー・ネットワークの出力に直接関係しうる。代替として、特徴は、センサー信号から導かれる派生測度であってもよい。本発明の実施形態は、在宅介護監視における適用を参照して説明されてきたが、本発明が入力特徴の選択を必要とするあらゆる種類の分類問題に適用可能であることは、当業者には明らかであろう。
【００５１】
適用される前述のアルゴリズムの特定の実施例について、これ以降、体のさまざまな位置に１組の加速度センサー４６ａから４６ｇを取り付けられた人間被験者４４を示す図８を参照して説明される。分類器は、被験者の体の加速度センサーから、被験者の体位または行動を推論するために使用される。
【００５２】
センサー４６ａから４６ｇは、重力による等加速度を含む、センサー位置における体の加速度を検出する。各センサーは、３つの垂直軸に沿って加速度を測定するので、センサー信号の一定要素から重力に関してセンサーの方向性と、加速度信号の一時的変動から被験者の動きに関する情報とを導くことができる。
【００５３】
図８に示されるように、センサーは、十分な処理能力の中央プロセッサに送信される合計３６のチャネルまたは特徴（センサーあたり３つ）をもたらすように、（それぞれ肩、肘、手首、膝、および足首に１つずつ）体全体にわたり配置される。
【００５４】
前述のアルゴリズムは、当該の体位および動作の原因を最適に区別するセンサーを見い出すために使用されうる。その目的のため、期待ＡＵＣは、前述のように入力特徴に関して一般的形態で、一度に特定のセンサーだけの信号を検討することにより、経験的に決定されうる。次いで、このようにして得られた期待ＡＵＣは、センサー（またはそのチャネル）を分類器への入力として選択するために使用される。
【００５５】
在宅介護または患者監視は、もう１つの適用の分野である。在宅介護または患者監視において、特徴は、環境（たとえば、ＩＲ動作検知器）または患者（たとえば、加速度センサー）のセンサー、および呼吸数および／または呼吸量、血圧、発汗、または血糖値などの生理学的パラメータのセンサーから生じる行動に関連する信号を含むことができる。
【００５６】
その他の適用は、たとえば、センサーが空気、水、または土の品質を示す数量を測定することができる、環境監視におけるものである。アルゴリズムはまた、特徴が画像処理によってデジタル画像から導かれ、画像のテクスチャー配向、パターン、または色を表すことができる画像分類における適用も見い出すことができる。
【００５７】
前述のアルゴリズムのさらなる適用は、多数のバイオマーカーのうちのいずれが特定の状態を示すか、または有望な医薬品ターゲットに関連するかを判断することが望ましい医薬発見または診断適用の設計におけるものであってもよい。この目的のために、所定の状態または治療成果に対するバイオマーカーの動作のデータセットが収集され、前述のアルゴリズムを使用して分析され、どのバイオマーカーが実際に有益な情報をもたらすのか検知される。
【００５８】
前述のアルゴリズムは、有用なバイオマーカーを選択するための原則に基づいた方法をもたらす。たとえば、バイオマーカーの動作は、バイオマーカーに関連付けられているターゲット分子の存在または不在を表すことができる。ターゲットは、特定の核酸、ペプチド、タンパク質、ウィルス、または抗原であってもよい。
【００５９】
前述のアルゴリズムのさらなる適用は、世論調査およびアンケート調査の質問を作成する場合である。この場合、アルゴリズムは、予備プールまたは調査において質問のプールから有用な質問を選択するために使用されてもよい。次いで、選択された質問は、さらに重点を絞り込むことができるように、その後の大規模なプールまたは調査に使用されてもよい。
【００６０】
前述の実施形態は、分類器への入力として特徴を選択する方法を説明し、そのような方法が上記で具体的に説明されている状況に加えて多くの状況で採用されうることが当業者には明らかとなろう。前述の特定の実施形態は、添付の特許請求の範囲によって定義される本発明を、例示により説明することが意図されている。
【図面の簡単な説明】
【００６１】
【図１】特徴選択のモデルを示す図である。
【図２】入力特徴として３つの集合の特徴を選択するための検索スペースを示す図である。
【図３】本発明の実施形態によるＲＯＣ曲線および特徴選択を示す図である。
【図４】特徴の集合の区別能力のグラフィカルメタファーを示す図である。
【図５】変数減少法アルゴリズムを示す流れ図である。
【図６】変数増加法アルゴリズムを示す流れ図である。
【図７】近似変数減少法／増加法アルゴリズムを示す流れ図である。
【図８】身体センサー・ネットワークを示す図である。
【図１】
2009507286.tif 000026
【図２】
2009507286.tif 000027
【図３】
2009507286.tif 000028
【図４】
2009507286.tif 000029
【図５】
2009507286.tif 000030
【図６】
2009507286.tif 000031
【図７】
2009507286.tif 000032
【図８】
2009507286.tif 000033
【国際調査報告】
2009507286.tif 000034
2009507286.tif 000035