(57)【要約】サポートベクターマシン(SVM)のような学習マシンのためのトレーニング集合における特徴削減方法。一実施態様においてこの方法は、トレーニング集合の入力トレーニングデータベクトルxiを受け取るステップ(35)を含む。入力トレーニングデータベクトルは、典型的には、特徴空間における特徴の集合から導かれる。ステップ(37)では、入力データベクトルは多次元空間に写像される。ステップ(39)で、SVMの形式から導かれる最小２乗問題が解かれ、トレーニングベクトルを含むどの特徴が有意とみなされるかが決定される。ステップ(41)で、選択された判別器、例えばSVMの判別パラメータおよびベクトルが、ステップ(39)で有意と決定された特徴を用いて決定される。【選択図】図４
2008524675.tif 000002
【特許請求の範囲】
【請求項１】
特徴空間における特徴集合から導かれるベクトルに依存する解をもつ問題を解くための判別器としての少なくとも一のコンピュータ機器を操作する方法であって、以下のステップ：
(a)  問題のSVM２次計画形式に対応する最小化問題を解き、これにより前記集合の有意な特徴を識別する、そして
(b)  有意な特徴の識別に基づいて削減された数の計算ステップで該判別器を操作することにより前記問題を解く、
を実行するよう前記コンピュータ機器を操作することを含む前記方法。
【請求項２】
前記最小化問題を解くステップが、最小２乗問題を解くことを含む、請求項１に記載の方法。
【請求項３】
前記コンピュータ機器が、クラス分類問題を含む問題を解くための判別器として操作される、請求項１に記載の方法。
【請求項４】
前記コンピュータ機器が、回帰問題を含む問題を解くための判別器として操作される、請求項１に記載の方法。
【請求項５】
前記判別器は、主成分分析、カーネル主成分分析(KPCA)、独立成分分析(ICA)、線形判別分析(LCA)、ベイジアン個体内または個体間クラス分類器のいずれか一に従って稼働する、請求項１に記載の方法。
【請求項６】
前記問題を解く時に有意な特徴のみを処理する、請求項１に記載の方法。
【請求項７】
前記判別器が、サポートベクターマシン、主成分分析マシン、カーネル主成分分析マシン、独立成分分析マシンまたは線形判別分析マシンのいずれか一を含む、請求項１に記載の方法。
【請求項８】
前記判別器がサポートベクターマシンを含み、さらに、前記ベクトルを離散クラスに分離する超平面を規定することを含む、請求項７に記載の方法。
【請求項９】
有意な特徴のみを含むベクトルを使用して前記超平面を規定する、請求項８に記載の方法。
【請求項１０】
前記判別器が、サポートベクター回帰マシンを含む、請求項７に記載の方法。
【請求項１１】
対応の特徴が非有意であるとみなすべきかを決定するために、前記最小化問題の解の値を所定の閾値と比較することを含む、請求項１に記載の方法。
【請求項１２】
前記最小化問題の解を規格化することを含む、請求項１１に記載の方法。
【請求項１３】
前記最小化問題を解くステップが、2-ノルムの２乗を最小化することを含む、請求項１に記載の方法。
【請求項１４】
前記最小化問題を解くステップが、1-ノルムに関して最小化することを含む、請求項１に記載の方法。
【請求項１５】
前記最小化問題を解くステップが、無限ノルムに関して最小化することを含む、請求項１に記載の方法。
【請求項１６】
前記最小２乗問題を前記特徴空間内に写像することを含む、請求項１に記載の方法。
【請求項１７】
前記特徴空間から導かれるテストベクトルをクラス分類することを含む、請求項１３に記載の方法。
【請求項１８】
請求項１の方法を実行するようにプログラムされたコンピュータ機器。
【請求項１９】
パーソナルコンピュータ、
ＰＤＡ、
診断医療装置、または
ワイヤレス機器
のいずれか一を含む、請求項１８に記載のコンピュータ機器。
【請求項２０】
請求項１の方法を遂行するための一以上のプロセッサーにより実行される機器読み取り可能な指令をもった媒体。
【請求項２１】
さらに、少なくとも一のコンピュータ機器をステップ(a)および(b)に対応するコンピュータ実行可能な指令でプログラミングし、および該コンピュータ実行可能な指令をコンピュータ読み取り可能な媒体に格納することを含む、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サポートベクターマシンや主成分分析システムのような判別器のために削減された集合(set)の特徴を選択するための方法に関する。
【背景技術】
【０００２】
本明細書におけるあらゆる従来技術への参照は、この従来技術が一般的な常識の一部を形成することと認識や示唆ととらえられず、また、そうすべきでない。
【０００３】
判別器は、トレーニング段階の間に未知データをクラス分類するのに使用可能なパラメータおよびベクトルの集合を決定する万能な学習マシンである。例えば、サポートベクターマシン(SVM)の場合、このパラメータの集合は、カーネル関数、ならびに、判別超平面を規定する対応の乗数(multipliers)の付いたサポートベクトルの集合からなる。このサポートベクトルの集合は、ベクトルのトレーニング集団から選択される。
【０００４】
主成分分析、カーネル主成分分析(KPCA)、独立成分分析(ICA)および線形判別分析(LDA)の一つに従う判別器操作では、２個の相違するデータベクトル間の距離、およびしたがって未知データのクラス分類を決定するのに使用可能な部分空間および対応の基底(basis)が決定される。ベイジアン個体内／個体間クラス分類器が、クラス分類されようとする群間の相違の統計解析に従ってクラス分類する。
【０００５】
前記トレーニング段階に続いて、これらのすべての判別器が、テスト段階で稼働し、その間に、トレーニング段階の間に決定された判別ベクトルおよびパラメータに基づいてテストベクトルをクラス分類する。例えば、クラス分類SVMの場合、クラス分類は、前にトレーニング段階の間に決定された判別超平面に基づいてなされる。しかし、使用したサポートベクトルの数および試験されるべき特徴の数（すなわち、ベクトルの長さ）を用いて判別スケールを作るために受け入れなければならない計算の複雑さとしての問題が生じる。同様の難しさは、また、他の多くの学習マシンの実用でも遭遇される。
【０００６】
判別器は、多くのさまざまな分野で用途を見出す。例えば、S. Lyu およびH. Faridの"Detecting Hidden Messages using Higher-Order Statistics and Support Vector Machines (高次統計量およびサポートベクターマシンを用いた隠れメッセージの検出)" (5th International Workshop on Information Hiding, Noordwijkerhout, The Netherlands, 2002)と題する論文には、無傷のデジタル画像と品質を落としたデジタル画像とを識別するためのSVMの使用という記載がある。
【０００７】
別法として、H. Kim およびH. Parkの"Prediction of protein relative solvent accessibility with Support Vector Machines and long-range interaction 3d local descriptor（サポートベクターマシンおよび長距離相互作用3d局所特徴量を用いたタンパク質相対溶媒接近性の予測）" (Proteins: structure, function and genetics, 2004 Feb 15; 54(3):557-62)と題する論文では、巨大分子の合体を研究するために、高分解能3D構造を予測する問題にSVMが適用される。
【０００８】
特徴削減方法を開発するために、SVMの数学的基礎を今から説明する。しかし、本発明の実施態様に従う方法が、前記したものを含む他の判別器に適用可能であることは理解されるはずである。
【０００９】
SVMは、ｍ入力ベクトル
【数１】
2008524675.tif 000003
を与えると、すべての入力ベクトルxiについて出力値yiを用いて確率分布関数p(x)から独立に引き、あらゆるベクトルxi（入力集合にない）ついて予想される出力値f(xi) = yiを返す学習マシンである。
【００１０】
(xi, yi) i = 0,…m が、トレーニング事例として参照される。得られる関数f(x)が超平面を決定し、これがその後、未知の写像を予想するのに使用される。
【００１１】
図１は、上記のトレーニング方法を示している。ステップ24で、サポートベクターマシンは、トレーニング集合のベクトルxiを、それぞれ前もって割り当てられた(pre-assigned)クラスyiとともに受け取る。ステップ26で、ベクターマシンは、入力データベクトルxiを多次元空間へ写像(mapping)することにより変換する。最後に、ステップ28で、f(x)で規定される最適な多次元超平面のパラメータが決定される。図１のステップ24、26および28の各ステップは、従来技術で周知である。
【００１２】
支配方程式のいくつかを取り扱う場合、サポートベクターマシンは、以下の２次計画問題として表すことができる。
【数２】
2008524675.tif 000004
【００１３】
K(xi,xi)は、カーネル関数であり、そして、２個のベクトルの一般内積として観測することができる。SVMをトレーニングした結果は、乗数αiの決定である。
【００１４】
パターンベクトルxiを用いてSVMクラス分類器をトレーニングし、これらのベクトルのrをサポートベクトルと決めると想定すると、それらをxi, i=1,2,….,rによって規定する。次いで、パターンクラス分類のための判別超平面は、フォーム
【数３】
2008524675.tif 000005
を取る。ここで、αiは、パターンxiと関連するラグランジュ乗数であり、K(.,.)は、パターンベクトルを適当な特徴空間に陰(implicitly)写像するカーネル関数である。ｂは、αiと独立して決定することができる。図２は、二つの次元で、超平面30による二つのクラスの分離を示している。注意すべきことは、図２の矩形に入るx'sおよびo'sは、サポートベクトルと見なされ、そして、非ゼロαiと関連する。
【００１５】
式(7)を与えると、未クラス分類の標本ベクトルxは、f(x)を計算し、次いで、ゼロ以下のすべての返される値に-１を返し、そしてゼロ以上のすべての値に１を返すことによりクラス分類され得る。
【００１６】
図３は、テスト集合のベクトルxiをクラス分類するために従来技術のSVMで採用される典型的な方法のフローチャートである。ボックス34で、SVMは、テストベクトルの集合を受け取る。ボックス36で、それは、サポートベクトルをカーネル関数内のパラメータとして用いてテストベクトルを多次元空間に変換する。ボックス38で、SVMは、各入力データベクトルの構成員ステータス(membership status)、第一のクラス"1"の構成員または第二のクラス"-1"の構成員を示すために判別表面からクラス分類記号を生成する。ステップ34〜40は、文献中および式(7)により規定される。
【００１７】
トレーニング段階およびテスト段階の両方で、超平面を規定し、次いで入力ベクトルをクラス分類するのに必要とされる操作の計算複雑性は、少なくとも一部ではベクトルxiのサイズに依存することが理解される。ベクトルxiのサイズは、今度は、xiが導出される問題中で試験される特徴の数に依存する。
【００１８】
学習マシンの研究開発の初期段階では、ほんの少しの問題だけが40以上の特徴に係わった。しかし、今では、取り組むべき数百〜数万の変数や特徴を含む問題が比較的一般である。従って、テスト表面を決定し、そしてクラス分類を行うのに必要とする計算は、増大している。
【００１９】
その種の問題の事例は、望まないメールや"spam"と正常なメールとのクラス分類である。もし、メッセージ内で使用された単語やフレーズがクラス分類に使用されるなら、特徴数は、普段使用される単語の数のサイズになり得る。大人の英会話者とって、この数は、5千〜1万語を優に超える。もし、常用語のミススペリング、ならびに薬その他の製品の適当かつ一般の名前を追加すると、この特徴のリストは、5万語を優に超える。spamとemailとを分けるのに必要な実際の特徴(フレーズの単語)は、特徴の全数よりはるかに少ないかもしれない。例えば、単語"to"は、判別表面の決定に付加されないだけでなく、多くのemailで明らかである。
【００２０】
極めて大きい数の特徴を扱う問題は、GuyonおよびElisseeffの"An introduction to variable and feature slection（変数および特徴選択の概論）", Journal of Machine Learning Research, 3, 1157-1182, 2003と題する論文で議論されている。この論文では、著者は、「変数および特徴の選択について多くの潜在利益：データ可視化およびデータ理解の加速化、測定および格納条件の減少、トレーニングおよび利用時間の減少、予測性能を改善するための次元の呪いを無視することがある。」と説明する。論文著者は、非線形学習システムの場合の特徴選択のいかなる直接法にも気づいていないと常に言っている。
【発明の開示】
【発明が解決しようとする課題】
【００２１】
本発明の目的は、上記した潜在的利益の一以上を提供する特徴選択方法を提供することにある。
【課題を解決するための手段】
【００２２】
本発明の第一の側面によれば、特徴空間における特徴集合(set of feature)から導かれるベクトルに依存する解をもつ問題を解くための判別器としての少なくとも一のコンピュータ機器を操作する方法であって、以下のステップ：
(a)  前記集合の有意な特徴を識別するために、問題のSVM２次計画形式（formulation）に対応する最小化問題を解き、そして
(b)  有意な特徴の識別に基づいて削減された数の計算ステップで該判別器を操作することにより前記問題を解く、
を実行するよう前記コンピュータ機器を操作することを含む前記方法が提供される。
【００２３】
該方法は、さらに少なくとも一のコンピュータ機器をステップ(a)および(b)に対応するコンピュータ実行可能な指令を用いてプログラミングし、および該コンピュータ実行可能な指令をコンピュータ読み取り可能な媒体に格納することを含んでもよい。
【００２４】
好ましい実施態様では、前記最小化問題を解くステップが、最小２乗問題を解くことを含む。
【００２５】
前記コンピュータ機器が、クラス分類問題を含む問題を解くため、または別法として、回帰問題を含む問題を解くための判別器として操作されてもよい。
【００２６】
好ましくは、前記判別器は、主成分分析、カーネル主成分分析(KPCA)、独立成分分析(ICA)、線形判別分析(LCA)、ベイジアン個体内または個体間クラス分類器のいずれか一に従って稼働する。
【００２７】
好ましくは、該方法は、前記問題を解く時に有意な特徴のみを処理することを含んでいる。
【００２８】
前記判別器は、サポートベクターマシン、主成分分析マシン、カーネル主成分分析マシン、独立成分分析マシンまたは線形判別分析マシンのいずれか一を含んでもよい。
【００２９】
前記判別器がサポートベクタークラス分類マシンを含む場合、本方法は、さらに、前記ベクトルを離散クラス（discrete class）に分離する超平面を規定することを含んでもよい。
【００３０】
好ましくは、超平面は、有意な特徴のみを含むベクトルを使用して規定される。
【００３１】
別法として、サポートベクターマシンは、サポートベクター回帰(regression)マシンを含んでもよい。
【００３２】
一実施態様において、本方法は、対応の特徴が非有意であるとみなすべきかを決定するために、前記最小化問題の解の値を所定の閾値と比較することを含む。
【００３３】
該方法は、好ましくは前記最小化問題の解を規格化(normalizing)することを含む。
【００３４】
好ましい実施態様では、最小化問題を解くステップは、2-ノルムの２乗(square)を最小化することを含む。
【００３５】
別法として、前記最小化問題を解くステップは、1-ノルムや無限ノルムのような他の適当なノルムに関して最小化することを含み得る。
【００３６】
本方法は、前記最小２乗問題を前記特徴空間内に写像するステップを含んでもよい。その場合、本方法は、非線形学習システムにおける特徴選択のための直接法を提供する。
【００３７】
好ましくは、本方法は、さらに、前記特徴空間から導かれたテストベクトルをクラス分類するステップを含み得る。
【００３８】
本発明に従う別の側面では、上記の方法を実行するようにプログラムされたコンピュータ機器が提供される。
【００３９】
該コンピュータ機器は、汎用のコンピュータシステム、例えばパーソナルコンピュータを含むが、また、ＰＤＡ、診断医療装置、または、例えば携帯電話機のようなワイヤレス機器に組み込まれてもよい。
【００４０】
本発明に従うもう一つの側面によれば、上記の方法を遂行するための一以上のプロセッサーにより実行される機器読み取り可能な指令をもった媒体、例えば磁気または光学ディスクが提供される。
【００４１】
さらに、本発明の好ましい特徴は、以下の実施態様の詳細な説明に記載され、参照は数字によってなされる。
【００４２】
本発明の好ましい特徴、実施態様および変更は、当業者が本発明を実行するために充分な情報を提供する以下の詳細な説明から認識することができる。該詳細な説明は、いかなる方法によって、前に述べた本発明の要約の範囲を限定するものととらえてはならない。該詳細な説明は、図の番号を参照する。
【発明を実施するための最良の形態】
【００４３】
本発明者は、非線形学習システムにおける特徴選択の方法が、最小化問題を解くことによって展開し得ることを認識している。より具体的には、該方法は、最小２乗アプローチから発展し得る。以下の実施態様では、最小２乗最小化問題の2-ノルム形式を使用する。しかし、当業者は、1-ノルム、無限ノルムまたは他の適当な形式もまた使用できることを認識するはずである。
【００４４】
式(1-3)の最小化問題(minimization problem)は、
【数４】
2008524675.tif 000006
と等価である。ここで、Kにおける(i,j)エントリは、K(xi, xj)であり、αはラグランジュ乗数のベクトルであり、eはそれぞれ（ones）のベクトルである。制約式(4-6)は、(8)にもあてはまる。ノルム記号の外側にある表記は、2-ノルムの２乗を取っていることを意味する。まず、線形カーネルの理論を展開し、ここで、K(xi, xj)=xiT・xjは、２個のベクトルの簡単な内積である。入力ベクトルを行列: X = [x1,...,xk]と記載すると、あるベクトルbについてe=XT bと記載し、次いで、上記問題を
【数５】
2008524675.tif 000007
と再記載する。
【００４５】
これは、
【数６】
2008524675.tif 000008
の解ついての正規方程式の形式であり、その結果、(9)および(10)は等価である。(10)の解における第一のステップは、多重解
【数７】
2008524675.tif 000009
の未決定の最小２乗問題を解くことであり、いかなる解も充足する。しかし、好ましくかつ可能性のある解は
【数８】
2008524675.tif 000010
であり、ここでPは適当なピボット行列であり、b2=0である。b2のサイズは、行列Xのランク、またはXの独立カラムの数により決定される。(12)を解くために、最小2-ノルム解を与え、かつSVM問題の制約を満足するいかなる方法も使用する。bの非ゼロ要素のみが解に寄与するため、特徴の自然選択の機会が現れるのは(11)の解の中にある。例えば、b=[ b1,…, bn]Tの非ゼロまたは極めて小さい要素がb100, b1 , b191 , b202, b323 , 344 などと仮定する。その場合、x100, x1 , x191 , x 202, x323 , x344などのみがベクトルx内で使用される。xの他の要素は、SVMの性能を変更することなく安全に無視される。
【００４６】
このアプローチのための第二の動機付けは、データベクトルの写像を特徴空間内へカーネル関数により適合させるのに使用することができる内積を式(9)が含むという事実である。この場合、X行列は[Φ(x1),…,Φ(xn)]になり、(9)内の内積XTXはカーネル行列をわらわれに与える。したがって、問題は、(8)内でe = Φ(x)・Φ(b)を用いて表される。ｂを見つけるために、われわれは次いで、最適化問題
【数９】
2008524675.tif 000011
を解かねばならず、ここで、Φ(x)・Φ(b)はK(xi, b)として計算される。
【００４７】
したがって、本発明の実施態様に従う方法は、非線形学習システムにおける特徴選択のための直接法を提供するためにカーネル特徴空間へ容易に拡張される。本発明の実施態様に従う方法のフローチャートを図４に示す。ボックス35で、判別器、例えばSVMは、ベクトルxiのテスト集合を受け取る。ボックス37で、テストデータベクトルは、例えば式(2)を実行することにより、多次元空間に写像される。ボックス39で、関連づけられた最適化問題(式(13))が、テストベクトルを組み立てるどの特徴が活性、すなわち有意であるかを決定するために解かれる。このステップの事例が、上記式(8) - (12)を参照して記載される。ボックス41で、特定のタイプの判別器のための判別パラメータが、活性な特徴のみを用いて決定される。例えば、クラス分類SVMの場合、最適な多次元超平面が、式(1)〜(6)の使用を介して活性特徴のみを含むテストベクトルを用いて削減された特徴集合とともに規定される。
【００４８】
図５は、本発明の実施態様に従ってテストベクトルをクラス分類する方法のフローチャートである。最初にボックス42で、テストベクトルの集合を受け取る。ボックス44で、未クラス分類のベクトルをテストする際、未クラス分類のベクトルをまさにその活性特徴まで削減する必要はなく、内積K(xi,x)に含まれる操作が自動的に活性特徴のみを使用する。
【００４９】
ボックス48で、テストベクトルのためのクラス分類が計算される。次いで、ボックス50で、テスト結果が表示される。
【００５０】
サポートベクトル回帰問題では、トレーニング事例の集合が、(x1, y1), (x2, y2),…,(xm, ym), 
【数１０】
2008524675.tif 000012
により与えられ、ここでyiは実数値または２値のどちらからでもよい。yi∈{±1}の場合、その後、サポートベクタークラス分類マシンまたはサポートベクター回帰マシンのどちらかがデータに適用され得る。回帰マシンのゴールは、できるだけ多くのデータ点に"近接"した超平面を構築することである。いくつかの数学を使用すると、以下の２次計画問題(quadratic programing problem)は、クラス分類問題のものを同様になり得、同様の方法で解くことが可能になる。
【数１１】
2008524675.tif 000013
【数１２】
2008524675.tif 000014
【００５１】
この最適化は、最小２乗問題として表すこともでき、特徴数を減じるために同じ方法を使用可能である。
【００５２】
主成分分析、カーネル主成分分析(KPCA)、独立成分分析(ICA)および線形判別分析(LCA)、ならびにベイジアン個体内/個体間クラス分類器(ベイジアン)判別器の場合、トレーニング段階は、上記SVMについて記載されたように削減した特徴集合が決定されるまで進む。次いで、削減された集合の特徴にない特徴をすべて除くことによって入力ベクトルが削減された後、上記のいずれか一の判別器に適用される。トレーニングおよび各判別器の使用は、従来技術に記載されるように進む。実用的見地から、本発明の好ましい実施態様に従う判別器は、コンピュータ機器、例えばパーソナルコンピュータ、PDA、または潜在的に携帯電話のようなワイヤレス機器により実行される。このコンピュータ機器は、本発明の実施態様、例えば図４および図５のフローチャートに図示される実施態様に従う方法を実行するための指令の入ったソフトウエア製品を実行する。
【００５３】
図６は、コンピュータ機器を汎用のパーソナルコンピュータシステム52の形態で示しており、これは、本発明の実施態様に従って、判別器として稼働し、その間、本発明の実施態様に従うコンピュータプログラムを実行する。パーソナルコンピュータシステム52は、データ入力装置をポインティングデバイス60およびキーボード58の形態で、ならびにデータ出力装置をディスプレイ56の形態で含んでいる。データ入力および出力装置は、処理ボックス54に結合され、これは、少なくとも一の中央処理ユニット70を含んでいる。中央処理ユニット70は、RAM62、ROM64および二次ストレージ装置66とメインボード68を介してインターフェースする。二次ストレージ装置66は、中央プロセッサー70による実行のための指令をもった光学および／または磁気データストレージ媒体を含んでいる。該指令は、起動されると、コンピュータシステム52に判別器として稼働し、図４および式(8)-(12)を参照して記載された特徴削減方法および必要なら図５を参照して説明されるテスト段階方法を実行させるソフトウエア製品72を構成する。当業者に理解されるように、本発明の実施態様に従う方法で与えられるソフトウエア製品72のプログラミングは明白である。従って、本発明の実施態様に従う方法は、コンピュータまたは一以上のコンピュータ機器にコンピュータ実行可能な指令をプログラミングし、そして、コンピュータ実行可能な指令をコンピュータ読み取り可能な媒体、例えば光学または磁気ディスクや半導体メモリに格納するステップを含んでもよい。
【００５４】
ここに記載された本発明の実施態様は、その原理を説明する目的のために提供され、本発明を限定しまた拘束するようにみなされない。なぜなら、請求項を参照して決められる本発明の範囲から逸脱せずに多くの改変が当業者によってなされ得るからである。
【図面の簡単な説明】
【００５５】
【図１】従来技術のサポートベクターマシンの実行中のトレーニング段階を示すフローチャートである。
【図２】判別超平面の各側の多数のサポートベクトルを示す図解である。
【図３】従来技術のサポートベクターマシンの実行中のテスト段階を示すフローチャートである。
【図４】本発明の好ましい実施態様に従うトレーニング段階を示すフローチャートである。
【図５】本発明の好ましい実施態様に従うテスト段階を示すフローチャートである。
【図６】本発明の実施態様に従うソフトウエア製品を実行するためのコンピュータシステムのブロックダイアグラムである。
【図１】
2008524675.tif 000015
【図２】
2008524675.tif 000016
【図３】
2008524675.tif 000017
【図４】
2008524675.tif 000018
【図５】
2008524675.tif 000019
【図６】
2008524675.tif 000020
【手続補正書】
【提出日】平成18年7月20日(2006.7.20)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
したがって、本発明の実施態様に従う方法は、非線形学習システムにおける特徴選択のための直接法を提供するためにカーネル特徴空間へ容易に拡張される。本発明の実施態様に従う方法のフローチャートを図４に示す。ボックス35で、判別器、例えばSVMは、ベクトルxiのトレーニング集合を受け取る。ボックス37で、トレーニングデータベクトルは、例えば式(2)を実行することにより、多次元空間に写像される。ボックス39で、関連づけられた最適化問題(式(13))が、トレーニングベクトルを組み立てるどの特徴が活性、すなわち有意であるかを決定するために解かれる。このステップの事例が、上記式(8) - (12)を参照して記載される。ボックス41で、特定のタイプの判別器のための判別パラメータが、活性な特徴のみを用いて決定される。例えば、クラス分類SVMの場合、最適な多次元超平面が、式(1)〜(6)の使用を介して活性特徴のみを含むトレーニングベクトルを用いて削減された特徴集合とともに規定される。
【国際調査報告】
2008524675.tif 000021