(57)【要約】【課題】サポート・ベクトル・マシンのフレームワークを一般化する新しい機械学習技術を提供する。【解決手段】学習機械における分類器を訓練する方法は、１つまたは複数のクラスタにクラスタ化されたデータセットから入力ベクトルを受け取ることと、データセット内の入力ベクトルのクラスタに依存する一般化された制約条件を指定することと、一般化された制約条件を条件として分離空間内の分離超平面を最適化することと、を有する。入力ベクトルは、カーネル関数を使用して分離空間にマップされ、分離超平面は、一般化された制約条件にしたがって生成された係数の組により決定される。【選択図】図１
2007115245.tif 000002
【特許請求の範囲】
【請求項１】
１つまたは複数のクラスタにクラスタ化されたデータセットから入力ベクトルを受け取ることと、
前記データセット内の入力ベクトルの前記クラスタに依存する一般化された制約条件を指定することと、
前記一般化された制約条件を条件として分離空間内の分離超平面を最適化することと、
を含み、前記入力ベクトルは、カーネル関数を使用して前記分離空間にマップされ、前記分離超平面は、前記一般化された制約条件にしたがって生成された係数の組により決定される、分類器の訓練方法。
【請求項２】
前記一般化された制約条件は、クラスタ内の前記入力ベクトルがマップされる補正空間に定義されたカーネル関数に依存する、請求項１に記載の方法。
【請求項３】
異なるクラスタの前記入力ベクトルは、同一の分離空間であるが異なる補正空間にマップされる、請求項２に記載の方法。
【請求項４】
各補正空間は、各クラスタに対する補正関数を規定する、請求項２に記載の方法。
【請求項５】
前記一般化された制約条件は、次式で表すことが可能であり、
【数１】
2007115245.tif 000035
ここで、ｔ個のクラスタが存在し、Ｋrは、クラスタｒ内の前記入力ベクトルがマップされる前記補正空間に定義される前記カーネル関数であり、αiは、前記分離空間内の前記分離超平面を決定する前記係数であり、Ｔrは、クラスタｒ内の入力ベクトルのインデックスの集合を定義する、請求項２に記載の方法。
【請求項６】
前記一般化された制約条件が、別の選択肢として、次式で表され、
【数２】
2007115245.tif 000036
ここで、Ａ*i,jは、請求項５によって構築された対称行列である、請求項５に記載の方法。
【請求項７】
前記行列Ａ*i,jは、単位行列であってボックス制約条件を定義する、請求項６に記載の方法。
【請求項８】
前記行列Ａ*i,jは、ボックス制約条件を定義しない、請求項６に記載の方法。
【請求項９】
前記入力ベクトルを得るために、前記データセットに前処理が適用される、請求項１に記載の方法。
【請求項１０】
係数の複数の組が、マルチクラス分類器を形成するように生成される、請求項１に記載の方法。
【請求項１１】
請求項１乃至１０のいずれか１項に記載の方法にしたがって生成された係数を利用する分類器。
【請求項１２】
プロセッサにより実行されるときに、
１つまたは複数のクラスタにクラスタ化されたデータセットから入力ベクトルを受け取る段階と、
前記データセット内の入力ベクトルの前記クラスタに依存する一般化された制約条件を指定する段階と、
前記一般化された制約条件を条件として分離空間内の分離超平面を最適化する段階と、
を定めるコンピュータ・プログラム命令を有し、
前記入力ベクトルは、カーネル関数を使用して前記分離空間にマップされ、前記分離超平面は、前記一般化された制約条件にしたがって生成された係数の組により決定される、コンピュータ読み取り可能な媒体。
【請求項１３】
前記一般化された制約条件は、クラスタ内の前記入力ベクトルがマップされる補正空間に定義されたカーネル関数に依存する、請求項１２に記載のコンピュータ読み取り可能な媒体。
【請求項１４】
異なるクラスタの前記入力ベクトルは、同一の分離空間であるが異なる補正空間にマップされる、請求項１３に記載のコンピュータ読み取り可能な媒体。
【請求項１５】
各補正空間は、各クラスタに対する補正関数を規定する、請求項１３に記載のコンピュータ読み取り可能な媒体。
【請求項１６】
前記一般化された制約条件は、次式で表すことが可能であり、
【数３】
2007115245.tif 000037
ここで、ｔ個のクラスタが存在し、Ｋrは、クラスタｒ内の前記入力ベクトルがマップされる前記補正空間に定義される前記カーネル関数であり、αiは、前記分離空間内の前記分離超平面を決定する前記係数であり、Ｔrは、クラスタｒ内の入力ベクトルのインデックスの集合を定義する、請求項１３に記載のコンピュータ読み取り可能な媒体。
【請求項１７】
前記一般化された制約条件が、別の選択肢として、次式で表され、
【数４】
2007115245.tif 000038
ここで、Ａ*i,jは、請求項１６によって構築された対称行列である、請求項１６に記載のコンピュータ読み取り可能な媒体。
【請求項１８】
前記行列Ａ*i,jは、単位行列であってボックス制約条件を定義する、請求項１７に記載のコンピュータ読み取り可能な媒体。
【請求項１９】
前記行列Ａ*i,jは、ボックス制約条件を定義しない、請求項１７に記載のコンピュータ読み取り可能な媒体。
【請求項２０】
前記入力ベクトルを得るために、前記データセットに前処理が適用される、請求項１２に記載のコンピュータ読み取り可能な媒体。
【請求項２１】
係数の複数の組が、マルチクラス分類器を形成するように生成される、請求項１２に記載のコンピュータ読み取り可能な媒体。
【請求項２２】
分類器を訓練するための装置であって、
１つまたは複数のクラスタにクラスタ化されたデータセットから入力ベクトルを受け取る手段と、
分離空間内の分離超平面を決定する係数を生成する手段と、
を有し、前記入力ベクトルは前記分離空間にマップされ、前記係数は前記データセット内の入力ベクトルの前記クラスタに依存する一般化された制約条件にしたがって最適化される、分類器を訓練するための装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習機械(learning machine)に関し、特に、学習機械を実現するためのカーネルベースの技術に関する。
【背景技術】
【０００２】
訓練データ(training data)の集合（セット；set）の分析に基づいてデータの分類を自動化するための多くの公知の技術が存在する。本明細書において特に重要なものは、サポート・ベクトル・マシン（ＳＶＭ；support vector machine）のようなカーネルに基づく技術である。サポート・ベクトル・マシンの開発は、ChervonenkisとVapnikが、最適分離超平面(optimal separating hyperplane)を構成するために一般化ポートレート法(generalized portrait method)と呼ばれるアルゴリズムを開発した１９６５年にまで遡る歴史を有する。一般化ポートレート法を使用する学習機械は、２次最適化問題を解くことによって、訓練データと決定境界(decision boundary)との間のマージンを最適化する。この２次最適化問題の解は、次式の汎関数を最大化することにより得ることができる。
【０００３】
【数１】
2007115245.tif 000003
【０００４】
ただし、次の制約条件を条件とする。
【０００５】
【数２】
2007115245.tif 000004
【０００６】
ラグランジュの乗数αiは、学習機械により使用される分離超平面を定める。乗数に対する最適な値がαoiであり、しきい値に対する対応する値がｂoであると仮定すれば、この超平面に対する方程式は
【０００７】
【数３】
2007115245.tif 000005
【０００８】
である。
【０００９】
１９９２年に、Boser，Guyon及びVapnikが、ヒルベルト(Hilbert)空間内に分離超平面を作る有効な手法を案出した。この手法は、入力ベクトルをヒルベルト空間の中に明示的にマップする必要性を回避している（Bernard E. Boser, Isabelle M. Goyon, and Vladimir N. Vapnik, "A Training Algorithm for Optimal Margin Classifiers," Proceedings of the Fifth Annual Workshop on Computational Learning Theory (July 1992)（非特許文献１）を参照）。その代わりに、分離超平面は、ヒルベルト空間内の内積を定めるカーネル関数を用いて関して表される。したがって２次最適化問題は、次の汎関数を最大化することにより解くことができる。
【００１０】
【数４】
2007115245.tif 000006
【００１１】
ただし、次の制約条件を条件とする。
【００１２】
【数５】
2007115245.tif 000007
【００１３】
この場合に、分離超平面の対応する方程式は、次式となる。
【００１４】
【数６】
2007115245.tif 000008
【００１５】
１９９５年に、CortesとVapnikは、訓練データが非分離である場合に像空間(image space)内に分離超平面を構築するための最大マージン概念(maximal margin idea)を一般化した（Corinna Cortes and Vladimir N. Vapnik, "Support Vector Networks," Machine Learning, Vol. 20, pp. 273-97 (Sept. 1995)（非特許文献２）を参照）。最適化問題の２次形式は、「スラック(slack)緩和変数」と呼ばれるものを用いて表現される。スラック変数は、悪い側にマージンを超えている点に対しては非零であり、したがって、訓練データの不完全な分離を可能にする。双対形式(dual form)に変換することにより、２次最適化問題は、以下の目的汎関数(objective functional)の最大化を用いても表現できる。
【００１６】
【数７】
2007115245.tif 000009
【００１７】
ただし、制約条件
【００１８】
【数８】
2007115245.tif 000010
【００１９】
と、新しい制約条件
０≦αi≦Ｃ
を条件とする。ここでも、分離超平面の対応する方程式は、上記の式(1)により与えられる。この式は、αi≠０であるベクトルの拡張であり、これらのベクトルは当該技術分野において「サポート・ベクトル」と呼ばれている。サポート・ベクトル・マシンを構築するためには、任意の正値関数Ｋ(ｘi，ｘj)が使用可能であり、異なる型のサポート・ベクトル・マシンを創出することができる。サポート・ベクトル・マシンは、バイオインフォマティクス（生体情報科学）あるいはテキスト分類の領域の問題を含む広範囲の応用に有用であることが分かっている。
【非特許文献１】Bernard E. Boser, Isabelle M. Goyon, and Vladimir N. Vapnik, "A Training Algorithm for Optimal Margin Classifiers（最適マージン分類器のための訓練アルゴリズム）," Proceedings of the Fifth Annual Workshop on Computational Learning Theory (July 1992)
【非特許文献２】Corinna Cortes and Vladimir N. Vapnik, "Support Vector Networks（サポート・ベクトル・ネットワーク）," Machine Learning, Vol. 20, pp. 273-97 (Sept. 1995)
【非特許文献３】R. Tibshirani, "Regression Shrinkage and Selection via the Lasso（投げ縄を介する回帰収縮及び選択）," J. R. Statist. Soc. (B), 58, 267-288 (1996)
【発明の開示】
【発明が解決しようとする課題】
【００２０】
本発明の目的は、サポート・ベクトル・マシンのフレームワークを一般化する新しい機械学習技術を提供することにある。
【課題を解決するための手段】
【００２１】
本明細書において、サポート・ベクトル・マシン・フレームワークを一般化する新しい機械学習技術が開示されている。データセットからの入力ベクトルは、手作業（マニュアル）でまたは自動化されたクラスタリング技術を使用して、最初にクラスタ化される。入力ベクトルは、分離空間(separating space)にマップされ、分離超平面(separating hyperplane)を規定する係数を生成することによって、分離空間内で分離超平面が最適化される。しかしながら係数は、データセット内の入力ベクトルのクラスタリングに依存する一般化された制約条件にしたがって、生成される。本発明の望ましい実施態様によれば、入力ベクトルは、入力ベクトルが属するクラスタに依存して、分離空間と補正空間(correction space)に同時にマップされる。異なるクラスタの入力ベクトルは、同じ分離空間にマップされるものの異なる補正空間にマップされる。各補正空間は、特定のクラスタ内の入力ベクトルに対する補正関数を規定する。分離超平面に対する係数が生成されるとき、それらの係数は、入力ベクトルの各クラスタに対する補正関数を最適化する方法で生成される。補正関数を最適化するために、入力ベクトルのクラスタに対する一般化された制約条件は、クラスタ内の入力ベクトルがマップされる補正空間上に定義されるカーネルに依存する方法で定めらる。
【００２２】
一般化された制約条件を変えることにより、（クラスタにより定められる）入力空間内の雑音特性を含む、データの大域的構造(global structure)についての知られている可能性がある一切のアプリオリ（事前）の知識を、学習機械は利用することが可能である。分離は、今までと同じく分離空間で行われるが、最適化問題が解かれる前に入力ベクトルを分離することができ、異なる補正空間にマップすることができる。したがって、一般化された制約条件は、データから単に独立しているものではなく、むしろ、データの構造により定めることができるものである。
【００２３】
本発明による以上の利点及び他の利点は、下記の詳細説明と添付図面を参照すれば、当業者には明白であろう。
【発明を実施するための最良の形態】
【００２４】
次に、本発明の好ましい実施の形態について、図面を参照して説明する。図１は、本発明に基づく機械学習技術の基礎となる原理を示す図である。
【００２５】
学習機械用の訓練データは、例えば図１において入力空間１００内の符号１０１，１０２，…，１０６として示すように、入力空間内の入力ベクトルとして表される。各訓練入力ベクトル１０１，１０２，…，１０６は、実例として図１において、第１のラベルに対しては丸印として、第２のラベルに対しては三角形として示されているように、分類ラベルによりラベル付けされている。分類ラベルは、これにより限定されるものではないが、例えば、入力ベクトルに対応する訓練データが指定されたクラスのメンバーであるかそうでないかを表すことができる。ここで実現すべきことは、訓練入力ベクトル１０１，１０２，…，１０６に基づいて、データについての分類器（クラシファイア；classifier）として機能する分離関数を構築することである。
【００２６】
これらの訓練入力ベクトル１０１，１０２，…，１０６は、最初に、手作業（マニュアル）であるいは多くの公知の自動化されたクラスタリング技術のうちの任意のものを使用して、クラスタ化される。図１は、例として、訓練ベクトルに対して形成された２つのクラスタ１６１，１６２を示しており、クラスタ１６１は、入力ベクトル１０１，１０２，１０３から形成され、クラスタ１６２は、入力ベクトル１０４，１０５，１０６から形成されている。なお、図１には２つのクラスタしか示されていないが、本発明の技術によれば、全ての訓練入力ベクトルを含む単一のクラスタのみが設けられる場合も含めて、任意の数のクラスタを形成できる。従来の技術とは対照的に、本実施形態では、分離関数(separating function)を定める分離空間１５０、及び、本発明者らが補正関数(correction function)と呼ぶものを定める補正空間１１０，１２０の、２つの空間に、各入力ベクトルは同時にマップされる。入力ベクトル１０１，１０２，…，１０６の各々は、図１においてベクトル１５１〜１５６に示すように、同一の分離空間１５０にマップされるが、入力ベクトルの各クラスタ１６１，１６２には、それぞれ異なる補正関数、したがって、異なる補正空間１１０，１２０を割り当てることが可能である。図１に示すように、クラスタ１６１の入力ベクトル１０１〜１０３は補正空間１１０にマップされ（ベクトル１１１〜１１３を参照）、一方、クラスタ１６２の入力ベクトル１０４〜１０６は補正空間１２０にマップされる（へクトル１２４〜１２６を参照）。
【００２７】
本明細書においてさらに説明するように、上述の分離関数を定める分離空間１５０内に、分離超平面１８０が構築される。分離超平面１８０は、分離空間１５０内のマージン１７１，１７２を最適化するのみでなく、対応するクラスタ化された入力ベクトルの補正関数も考慮するやり方で、構築される。したがって従来の技術とは対照的に、本実施形態では、入力空間１００内の雑音特性を含む、訓練データの大域的構造についての知られている可能性がある一切のアプリオリ（事前）の知識を利用するやり方で、分離関数を生成できる。本明細書においてさらに説明するように、本発明の技術は、サポート・ベクトル・マシンのフレームワークの一般化と見なすことができる。したがって、本発明者らは、この技術を「ＳＶＭ＋」と称する。
【００２８】
図２を参照して、本発明の好ましい実施形態をさらに説明する。図２は、本発明の実施の一形態の学習機械／分類器の訓練において実行される処理を示すフローチャートである。
【００２９】
ステップ２１０において、ラベル付けされた生の訓練データ
【００３０】
【数９】
2007115245.tif 000011
【００３１】
が収集される。このデータは、任意のフォーマットで到来してもよく、複数のソースから由来してもよい。ここで、例えば、ラベル付けされた訓練データとして使用できる形式に、異なるデータ・ソースからの情報を統合するために、公知のデータ融合技術を使用することができる。ステップ２２０において、入力訓練データ
【００３２】
【数１０】
2007115245.tif 000012
【００３３】
を得るために、ラベル付けされた生の訓練データに対して一般的な前処理を実行できる。本発明は、いかなる特定の前処理技術にも制限されるものではない。前処理についての従来技術の例には、集中化(centralization)、正規化(normalization)、スケーリング、クリッピングなどが含まれる。ギャップを有する、あるいは異なる時間尺度を有するデータは、これにより限定されるものではないが、例えば、公知の前処理技術を使用して、容易に融和させる(reconciled)ことができる。さらに高度な例として、対称変換の何らかの形式の下で不変性に支配されるデータも、変換に対して分類器も不変にする形式に、前処理により変換可能である。
【００３４】
ステップ２３０において、入力訓練データ
【００３５】
【数１１】
2007115245.tif 000013
【００３６】
は、ｔ個（ｔ≧１）のクラスタを形成するために、クラスタ化される。上述のように、これらｔ個のクラスタは、手作業で、あるいは、多くの公知の自動化されたクラスタリング技術のうちの任意のものを使用して、形成できる。本発明は、いかなる特定のクラスタリング技術にも制限されるものではない。ｋ平均値(k-means)あるいはｋ中央値(k-medians)クラスタリング・アルゴリズムのような階層的処理法あるいは分割処理法を含む任意のクラスタリング技術が、容易に適合可能であり、利用可能である。入力訓練データがベクトル形式でｘ1，…，ｘlで表される場合には、これらのベクトルは、ベクトルｘiのｔ個のクラスタの直和(disjoint union)になるはずである。クラスタｒからの入力訓練ベクトルのインデックスの集合を、
【００３７】
【数１２】
2007115245.tif 000014
【００３８】
と定義する。以下の説明のために、クラスタはｘiの値に依存すると仮定するが、ｙiの値にも依存するようにクラスタを容易に構成することができる。
【００３９】
ステップ２４０において、カーネル関数が学習機械に対して定義される。上述のように、入力訓練ベクトルｘi∈Ｘrは、分離空間ｚi∈Ｚ及び補正空間ｚri∈Ｚrの中に同時にマップされる。異なるクラスタの入力ベクトルは、分離空間については同じ分離空間Ｚにマップされるが、補正空間については異なる補正空間Ｚrにマップされる。分離空間Ｚは、分離関数を定める。補正空間Ｚrは、各クラスタＸrに対する許容される補正関数φr(ｘi,ａ)，ａ∈Ａrの集合から、そのクラスタＸrに対して、次式の補正関数を定める。
【００４０】
【数１３】
2007115245.tif 000015
【００４１】
補正関数ξ＝φ(ｘ，ａ)，ａ∈Ａrの許容される集合は、次式のように、Ｚr空間内の線形の非負の関数として説明できると仮定する。
【００４２】
【数１４】
2007115245.tif 000016
【００４３】
本明細書では明示的には示さないが、ここでも上述のように、補正関数はｙiの値に依存することも可能である。分離空間Ｚ及び補正空間Ｚrは、ヒルベルト空間として表されることが望ましい。マーサーの定理(Mercer's theorem)にしたがって、入力ベクトル空間には、この技術分野においてカーネル関数と呼ばれる正定関数(positive definite function)が存在し、分離空間Ｚ及び補正空間Ｚr内の対応する内積を定める。したがって、分離空間に対して対応する内積は、次式のように、カーネルにより定めることができる。
【００４４】
【数１５】
2007115245.tif 000017
【００４５】
一方、クラスタｒに対する補正空間内の対応する内積は、次式のように、カーネルにより定めることができる。
【００４６】
【数１６】
2007115245.tif 000018
【００４７】
従来の技術では、単一のカーネルを使用するが、本明細書に開示する技術では、最大で（ｔ＋１）個までの異なるカーネルを使用する。
【００４８】
本発明は、分離空間あるいは補正空間に対するいかなる特定の形式のカーネル関数に限定されるものではない。現在、機械学習で使用される最も一般的なカーネルは、
【００４９】
【数１７】
2007115245.tif 000019
【００５０】
に示すｄ次の多項式カーネルであり、また、
【００５１】
【数１８】
2007115245.tif 000020
【００５２】
に示す指数カーネルである。
【００５３】
したがって、最適な分離関数を作ることができる。分離空間における最適分離超平面は、
【００５４】
【数１９】
2007115245.tif 000021
【００５５】
の制約条件を条件として、目的関数
【００５６】
【数２０】
2007115245.tif 000022
【００５７】
を極小化することにより、見出すことができる。
【００５８】
対応するラグランジュアン(Lagrangian)は、次式となる。
【００５９】
【数２１】
2007115245.tif 000023
【００６０】
したがって、Ｘ（入力）空間における最適な分離超表面が次式の形式を有することを示すことができる。
【００６１】
【数２２】
2007115245.tif 000024
【００６２】
ここで、係数αoiは、２次形式
【００６３】
【数２３】
2007115245.tif 000025
【００６４】
を最大化するものである。ここでは、
【００６５】
【数２４】
2007115245.tif 000026
【００６６】
の制約条件を条件とする。ここで、Ｔ|ｒ|はクラスタＴr内の要素の数であり、ｉ＝１，…，ｌに対してαi≧０である。本発明者らは、従来技術で開示されているものと同じである式(5)における制約条件を「バランス」制約条件と呼ぶ。式(6)におけるｔ個の制約条件は、「投げ縄(lasso)」制約条件(lasso constraint)と呼ばれるものとして、当業者により認識されよう（R. Tibshirani, "Regression Shrinkage and Selection via the Lasso," J. R. Statist. Soc. (B), 58, 267-288 (1996)（非特許文献３）を参照）
式(7)の制約条件は次の形式に書き換えることができる。
【００６７】
【数２５】
2007115245.tif 000027
【００６８】
ここで、０≦Ａ*i,j≦１は、次式を満足する対称行列Ａ*の要素である。
【００６９】
【数２６】
2007115245.tif 000028
【００７０】
本発明者らは、式(8)で定義される制約条件を行列制約条件(matrix constraint)と呼ぶ。上記の制約条件行列(constraint matrix)形式は、従来の技術における０≦αi≦Ｃという制約条件の一般化された形式と考えられる。ｉ＝ｊであればＡ*i,j＝１であり、ｉ≠ｊであればＡ*i,j＝０である場合、すなわち、マトリックスＡ*がｌ×ｌの単位行列である場合には、上記の一般化された制約条件は、従来技術と全く同様に、データから独立しているボックス（箱型；box）制約条件を定義する。この場合、式(6)の投げ縄制約条件は、自動的に満たされる。しかし、本発明の技術は、データの大域的構造に依存することができる、より広範囲の仕様の制約条件を可能にするという利点を有する。したがって、学習機械は、従来のサポート・ベクトル・マシン技術が無視している、訓練データの大域的構造を考慮することができる。
【００７１】
図２を参照すると、ステップ２５０において、一般化された制約条件が指定される。これは、上述のように制約条件行列Ａ*i,jを定義することにより、達成可能である。次に、ステップ２６０において、制約条件(5), (6)及び(8)の下で式(4)の目的関数を最適化することにより、分離超平面を指定する係数
【００７２】
【数２７】
2007115245.tif 000029
【００７３】
が生成される。これは、各クラスタＴrがそれ自身の補正関数(Ｗr，ｚi)＋rを有することを可能にする効果を有する。最後に、ステップ２７０において、訓練データ
【００７４】
【数２８】
2007115245.tif 000030
【００７５】
を使用して、しきい値ｂoを容易に決定することができる。学習機械用のトレーニング・パラメータは、Ω＝[αo1，…，αol，ｂo]である。これらのパラメータは、Ｚ（特徴）空間内の分離超平面を決定する。
【００７６】
図３は、学習機械の分類器が訓練された後の、学習機械により実行される処理のフローチャートである。学習機械の分類器は、単一の２進分類器として構成可能であり、あるいは、マルチクラス（多クラス）の分類問題をいくつかの２進分類問題に縮小するための公知の技術を使用する、マルチクラス分類器として構成可能である。ステップ３１０において、ラベル付けされていない生のデータ
【００７７】
【数２９】
2007115245.tif 000031
【００７８】
が収集される。上述のように、ここでも生データを任意のやり方で表すことができ、また実際に複数のソースから融合することができる。ステップ３２０において、訓練段階と同様に、データに対して一般的な前処理を実行して、
【００７９】
【数３０】
2007115245.tif 000032
【００８０】
を得る。ステップ３３０において、上記で生成された係数
【００８１】
【数３１】
2007115245.tif 000033
【００８２】
及びしきい値ｂoを使用して、分離超平面を定める。Ｚ（特徴）分離空間において、次式を計算することにより、学習機械は、超平面のどの側に各テスト点が位置するかを判定する。
【００８３】
【数３２】
2007115245.tif 000034
【００８４】
これらの値は、与えられたデータに対して計算されたラベルである。分類器が２進分類器である場合には、生成されたラベルは、単に出力されるか、あるいは、関連するアプリケーションで使用することができる。分類器がマルチクラス分類器である場合には、複数の２進分類器から生成されたラベルは、ステップ３４０において、公知の技術を使用して合成される。マルチクラス分類器は、これにより限定されるものではないが、例えば、上記と同様に訓練された複数の２進分類器を有することが可能であって、各２進分類器は、１つのクラスを他のすべてのクラスと比較することが可能であり、あるいは、２つ１組でクラスを比較することが可能である。そして、最終的な結果をステップ３５０において出力することが可能である。
【００８５】
上記の訓練技術及びテスト技術は、ハードウェア、ソフトウェア、あるいはハードウェアとソフトウェアとのさまざまな組み合わせを使用して、容易に実現できる。
【００８６】
本発明は、サポート・ベクトル・マシンの使用により現在対処されているすべての課題を含む広範囲の用途に容易に適合可能であり、利用可能である。それらの用途には、これらの例に限定されるものではないが、例えば、（画像認識、物体検出、音声及び手書き文字認識を含む）一般的なパターン認識、（品質管理システム及び勧告システム(recommendation system)を含む）回帰分析及び予測モデリング、（テキスト及び画像の分類・カテゴリー化を含む）データ分類、（自動化された診断システム、生物学的モデリング、及び、バイオイメージ分類を含む）バイオインフォマティクス、（金融予測、データベース・マーケティングを含む）データ・マイニングなどを含んでいる。
【００８７】
本発明による代表的な図面と具体的な実施形態を説明し例示したが、本発明の範囲は、説明した特定の実施形態に限定されないことが理解されるべきである。したがって、実施形態は制限的なものではなく、実例と見なされるものであり、特許請求の範囲の記載された本発明の範囲と、その構造的及び機能的等価物とから逸脱することなく、当業者が実施形態の変形を作り得ることが理解されるべきである。
【図面の簡単な説明】
【００８８】
【図１】本発明による機械学習技術の基礎となる原理を示す図である。
【図２】本発明の実施の一形態における学習機械／分類器の訓練において実行される処理を示すフローチャートである。
【図３】本発明の実施の一形態における学習機械／分類器の動作において実行される処理を示すフローチャートである。
【符号の説明】
【００８９】
１００    入力空間
１０１〜１０６    訓練入力ベクトル
１１１〜１１３，１２４〜１２６    補正空間にマップされた入力ベクトル
１６１，１６２    クラスタ
１１０，１２０    補正空間
１５０    分離空間
１５１〜１５６    分離空間にマップされた入力ベクトル
１７１，１７２    マージン
１８０    分離超平面
【図１】
2007115245.tif 000039
【図２】
2007115245.tif 000040
【図３】
2007115245.tif 000041