(57)【要約】複数のクラスのうちの２つの間で投票を行うよう複数のバイナリサポートベクターマシン（ＳＶＭ）を訓練する。各バイナリＳＶＭは、複数のクラスのうちの異なるクラス対間で投票を行う。一組の検証済サンプルが各バイナリＳＶＭに入力される。該一組の検証済サンプルは各クラスのサンプルを含む。該バイナリＳＶＭの投票に基づいて尤度推定値が決定される。事前確率分布が各クラス毎に割り当てられる。該決定された尤度推定値及び該割り当てられた事前確率分布に基づいて各クラス毎に事後確率が計算される。【選択図】図１
2018501556.tif 000002
【特許請求の範囲】
【請求項１】
複数のクラスのうちの２つのクラス間で投票を行うよう複数のバイナリサポートベクターマシン（ＳＶＭ）を訓練し、該複数のバイナリＳＶＭの各々が該複数のクラスのうちの異なるクラス対間で投票を行い、
該複数のバイナリＳＶＭの各々に一組の検証済サンプルを入力し、該一組の検証済サンプルが前記複数のクラスの各々の複数のサンプルを含み、
該入力に応じて該複数のバイナリＳＶＭの投票に基づき尤度推定値を決定し、
前記複数のクラスの各々毎に事前確率分布を割り当て、
前記決定された尤度推定値と前記割り当てられた事前確率分布とに基づいて前記複数のクラスの各々毎に事後確率を計算する
ことからなる方法。
【請求項２】
前記尤度推定値を決定することが、
第１に、入力された第１のクラスの複数の検証済サンプルに応じて、前記複数のバイナリＳＶＭのうちの第１のバイナリＳＶＭのクラス対の前記第１のクラスについての第１の投票数を決定し、
第２に、前記入力された第１のクラスの複数の検証済サンプルに応じて、前記第１のバイナリＳＶＭのクラス対の第２のクラスについての第２の投票数を決定し、
第１に、前記第１の投票数を前記入力された第１のクラスの複数の検証済サンプルの個数で除算して、前記第１のクラスの検証済サンプルが与えられた場合に前記第１のバイナリＳＶＭが該第１のクラスに投票する第１の尤度推定値を決定し、
第２に、前記第２の投票数を前記入力された第１のクラスの複数の検証済サンプルの個数で除算して、前記第１のクラスの検証済サンプルが与えられた場合に前記第１のバイナリＳＶＭが前記第２のクラスに投票する第２の尤度推定値を決定する
ことを含む、請求項１に記載の方法。
【請求項３】
第１に、前記複数のクラスの残りの各々毎に、該複数のクラスの対応する残りの検証済サンプルを使用して、前記第１の決定、前記第２の決定、前記第１の除算、及び前記第２の除算を繰り返して、前記第１のＳＶＭについての尤度推定値の残りを計算し、
第２に、該第１の繰り返しを、前記複数のバイナリＳＶＭの残りの各々毎に繰り返して、該複数のバイナリＳＶＭの残りについて前記複数のクラスの各々毎に尤度推定値を決定する、
請求項２に記載の方法。
【請求項４】
前記事後確率を計算することが、
前記複数のバイナリＳＶＭの各々に第１のサンプルを入力し、
該入力された第１のサンプルに応じて該複数のバイナリＳＶＭの各々の投票を決定し、該投票が、該複数のバイナリＳＶＭの各々毎のクラス対の一方を示すものである
ことを含む、請求項３に記載の方法。
【請求項５】
前記第１のクラスについて前記事後確率を計算することが、該第１のクラスを含むクラス対を有する前記複数のバイナリＳＶＭに関する複数の尤度推定値であって該第１のクラスのサンプルが与えられた該バイナリＳＶＭについて決定された投票に対応する複数の尤度推定値に該第１のクラスの事前確率分布を乗算することにより非正規化確率を決定することを更に含む、請求項４に記載の方法。
【請求項６】
前記事後確率を計算することが、前記非正規化確率を正規化することを更に含み、該正規化が、
前記事前確率分布の各々と、前記第１のクラスを含むクラス対を有する前記複数のバイナリＳＶＭのうちの１つに該第１のクラスのサンプルが与えられた場合に該事前確率分布のクラスが投票される尤度推定値とを乗算し、
該乗算された事前確率分布の全てを加算して第１の分母を決定し、
前記第１のクラスを含むクラス対を有する前記複数のバイナリＳＶＭの残りについて前記乗算と該乗算された事前確率分布の加算とを繰り返して複数の分母の残りを決定する
ことを含む、請求項５に記載の方法。
【請求項７】
前記正規化が、
前記複数の分母を乗算し、
前記非正規化確率を該乗算された複数の分母で除算して、正規化された前記第１のクラスについての事後確率を決定する
ことを更に含む、請求項６に記載の方法。
【請求項８】
前記事後確率の計算が、それぞれのクラスを含む複数のクラス対を有する複数のバイナリＳＶＭのそれぞれの前記決定された投票についての尤度推定値が与えられた場合に、前記第１のサンプルであると仮定された前記複数のクラスの残りの各々毎に、前記非正規化確率の決定及び前記正規化確率の決定を繰り返して、前記複数のクラスの残りの各々毎に事後確率を決定することを更に含む、
請求項７に記載の方法。
【請求項９】
前記事前確率分布が、前記複数のクラスの各々毎に、前記複数のバイナリＳＶＭの各々に第２のサンプルが入力される前に、対応する事後確率と置換される、請求項８に記載の方法。
【請求項１０】
前記一組の検証済サンプルが、前記複数のバイナリＳＶＭの訓練時に使用される一組の訓練サンプルとは異なるものである、請求項１に記載の方法。
【請求項１１】
前記一組の訓練サンプルが複数のサブクラスを含み、該複数のサブクラスのうちの少なくとも２つのサブクラスが、前記複数のクラスのうちの１つのクラスに対応し、
前記訓練が、前記２つのサブクラスを区別し、及び前記複数のバイナリＳＶＭのうちの少なくとも１つが所与のサンプルを該２つのサブクラスの一方に属するものと識別した場合に該２つのサブクラスを含む前記１つのクラスに投票するように、前記複数のバイナリＳＶＭのうちの少なくとも１つを訓練することを含む、
請求項１０に記載の方法。
【請求項１２】
複数のクラスのうちの２つのクラス間で投票を行う複数のバイナリサポートベクターマシン（ＳＶＭ）ユニットであって、該バイナリＳＶＭの各々が、該複数のクラスのうちの異なるクラス対間で投票を行う、複数のバイナリＳＶＭと、
該複数のバイナリＳＶＭの各々に一組の検証済サンプルを入力する検証済サンプルユニットであって、該一組の検証済サンプルが前記複数のクラスの各々の複数のサンプルを含む、検証済サンプルユニットと、
ベイズ推論を使用して、及び前記一組の検証済サンプルに応じて前記複数のバイナリＳＶＭの投票から決定された複数の尤度推定値に基づいて、前記複数のクラスの各々毎に事後確率を計算する事後確率ユニットと
を備えているシステム。
【請求項１３】
前記複数のバイナリＳＶＭの各々毎に入力される各クラスに応じて投票される各クラス毎に前記尤度推定値を決定する尤度推定ユニットと、
前記複数のクラスの各々毎に事前確率分布を割り当てる事前確率分布ユニットとを更に備えており、
前記事後確率ユニットが、更に前記事前確率分布に基づいて前記複数のクラスの各々毎に事後確率を計算する、
請求項１２に記載のシステム。
【請求項１４】
命令を格納した持続性コンピュータ読み取り可能記憶媒体であって、装置のプロセッサにより実行された際に、
複数のバイナリＳＶＭの各々に対して一組の検証済サンプルを実行し、該複数のバイナリＳＶＭの各々が、入力された該一組の検証済サンプルに応じて複数のクラスのうちの異なるクラス対間で投票を行い、
該複数のバイナリＳＶＭの該投票に基づいて尤度推定値を決定し、
前記複数のクラスの各々毎に事前確率分布を割り当て、
前記決定された尤度推定値と前記割り当てられた事前確率分布とをベイズ推論モデルに入力して前記複数のクラスの各々毎に事後確率を計算する
ことを前記プロセッサに行わせる、持続性コンピュータ読み取り可能記憶媒体。
【請求項１５】
複数の前記検証済サンプルの複数のクラスが既知であり、
前記一組の検証済サンプルが該複数のクラスの各々の複数のサンプルを含み、
前記複数のクラスの複数の前記事前確率分布が、その合計が１となるよう正規化される、
請求項１４に記載の持続性コンピュータ読み取り可能記憶媒体。
【発明の詳細な説明】
【背景技術】
【０００１】
サポートベクターマシン（ＳＶＭ）は、データを解析してパターンを認識する（分類及び回帰分析に使用される）関連する学習アルゴリズムを用いた管理された学習モデル（supervised learning models）とすることが可能である。２つのカテゴリの一方に属するものとしてそれぞれマークされている一組の訓練例（training example）が与えられると、ＳＶＭの訓練アルゴリズムは、新たな複数の例を一方又は他方のカテゴリに割り当てて該複数の例を非確率的バイナリ線形分類器（non-probabilistic binary linear classifier）にするモデルを構築することが可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００２】
サポートベクターマシン（ＳＶＭ）モデルは、別個のカテゴリの複数の例が可能な限り幅広のクリアマージン（clear margin）により分割されるようにマッピングされた空間内の複数の点として複数の例を表すものとすることが可能である。次いで、複数の新たな例が、同じ空間内にマッピングされ、及び前記マージンのどちらの側に位置するかに基づいて所定のカテゴリに属することが予測される。複数の多クラスＳＶＭには、一般に２つの手法が存在する。
【０００３】
一対一（OvO：one-versus-one）手法では、あらゆるクラス対について複数のバイナリ分類器を訓練することが可能である。各分類器は、１つのサンプルを２つのクラスの一方に割り当てることが可能である。全体的に最多票（most votes）を有するクラスが勝つ。この手法は、分類器が実際に提供する情報量にかかわらず全ての分類器からの票を同様にカウントするという欠点を有する。これはまた、分類の信頼性の極めて有意な指示ではないスコア（票数）を生成するものとなる。
【０００４】
一対多（one-versus-many）手法では、各クラスとその他の複数のクラスの全てからの複数のサンプルからなる１つのクラスとの間で１つのバイナリ分類器を訓練することが可能である。各分類器は、多クラスＳＶＭからの票だけでなく、サンプルと複数のクラスを分割する超平面（hyper-plane）との間の距離を表すスコアを（それら複数の距離が複数の異なるクラスに匹敵するものとなるように）何らかの較正ファクタにより重み付けしたものも返すことが可能である。最も高いスコアを有するクラスが勝つ。この手法は、複数のＳＶＭの動作が同種のクラスよりも異種のクラスでかなり劣るという欠点を有する。また、前記スコアは明確な確率解釈（clear probabilistic interpretation）を有さない可能性がある。
【課題を解決するための手段】
【０００５】
本実施形態は、サポートベクターマシン（本質的にはバイナリ分類器）を多クラス分類問題に適用する。ここで、本実施形態は、上述の一対一手法に基づくものとすることが可能であり、この場合には、各クラス対についてバイナリ分類器が訓練される。しかし、単純に票を加算するのではなく、各バイナリ分類器の結果を単純ベイズ（Naive Bayes）分類器への入力として使用することが可能であり、この場合には、各クラス毎に一組の検証（validation）サンプルについてバイナリ分類器を実行することにより訓練時に尤度（likelihoods）が決定される。
【０００６】
一実施形態による方法は、複数のクラスのうちの２つのクラス間で投票を行うよう複数のバイナリサポートベクターマシン（ＳＶＭ）を訓練することが可能である。該複数のバイナリＳＶＭの各々は、複数のクラスの異なる対の間で投票を行うことが可能である。次いで、一組の検証済（validated）サンプルを該複数のバイナリＳＶＭの各々へ入力することが可能である。該一組の検証済サンプルは、複数のクラスの各々の複数のサンプルを含むことが可能である。また、該バイナリＳＶＭの投票に基づいて尤度推定値（likelihood estimates）を決定することが可能である。更に、複数のクラスの各々毎に事前確率分布（prior probability distribution (prior)）を割り当てることが可能である。最後に、前記決定された尤度推定値と前記割り当てられた事前確率分布とに基づいて、複数のクラスの各々毎に事後確率を計算することが可能である。
【０００７】
このため、本実施形態は、有意で容易に解釈可能なスコアを各クラス毎に生成することが可能である。更に、本実施形態は、基本バイナリＳＶＭアルゴリズムに対する如何なる修正も必要としないものである。更に、本実施形態は、対象となる複数のクラスよりも一層高い度合いの同種性（homogeneity）で複数のサブクラスを訓練することが可能であり、これは、一層良好なＳＶＭ性能を実現可能とし、及びより少ない訓練データしか必要としないものとなる。また、本実施形態は、ベイズ事前確率分布（Bayesian priors）を介して事前知識（prior knowledge）を直接組み込むことを可能とするものである。
【図面の簡単な説明】
【０００８】
【図１】複数のクラスの事後確率を計算するためのシステムを示す例示的なブロック図である。
【図２】複数のクラスの事後確率を計算するためのシステムを示す別の例示的なブロック図である。
【図３】複数のクラスの事後確率を計算するための命令を含むコンピューティング装置を示す例示的なブロック図である。
【図４】複数のクラスの事後確率を計算するための方法を示す例示的なフローチャートである。
【発明を実施するための形態】
【０００９】
以下では、本実施形態の完全な理解を提供するために特定の細部について説明するが、本実施形態は、かかる特定の細部を伴わずとも実施できることが理解されよう。例えば、不必要な細部により本実施形態が不明確にならぬよう本システムをブロック図で示すことが可能である。別の例では、本実施形態が不明確となるのを回避すべく不必要な細部を伴うことなく周知のプロセス、構造、及び技法を示すことが可能である。
【００１０】
図１は、複数のクラスの事後確率を計算するためのシステム100を示す例示的なブロック図である。該システム100は、マイクロプロセッサ、コントローラ、メモリモジュール又はデバイス、ノートブックコンピュータ、デスクトップコンピュータ、オールインワンシステム、サーバ、ネットワーク装置、及びワイヤレス装置等とすることが可能である。
【００１１】
システム100は、複数のバイナリサポートベクターマシン（ＳＶＭ）ユニット110-1〜110-n（nは自然数）、検証済サンプルユニット120、及び事後確率ユニット130を含むよう図示されている。該複数のバイナリＳＶＭユニット110-1〜110-n、検証済サンプルユニット120、及び事後確率ユニット130は、例えば、後述する機能を実施するための制御ロジック及び／又はメモリといった電子回路を含むハードウェア装置を含むことが可能である。追加的に又は代替的に、前記複数のバイナリＳＶＭユニット110-1〜110-n、検証済サンプルユニット120、及び事後確率ユニット130は、マシン読み取り可能記憶媒体上にエンコードされ及びプロセッサにより実行される一連の命令として実施することが可能である。
【００１２】
前記複数のバイナリＳＶＭユニット110-1〜110-nは、複数のクラスのうちの２つのクラス間で投票を行うことが可能である。該バイナリＳＶＭユニット110-1〜110-nの各々は、該複数のクラスの異なる対112-1〜112-nの間で投票を行うことが可能である。用語「クラス」は、同様のタイプのデータを１つにグループ化するための方法に関するものとすることが可能である。複数の異なるクラスは、複数の異なるタイプのデータを有することが可能である。バイナリＳＶＭユニット110-1〜110-nは、データを解析してパターンを認識する複数の関連する学習アルゴリズムを有する複数の管理された学習モデルを含むことが可能である。２つのカテゴリの一方に属するものとしてそれぞれマークされている一組の訓練例が与えられると、バイナリＳＶＭユニット110の訓練アルゴリズムは、新たな複数の例を一方又は他方のカテゴリに割り当てて該複数の例を非確率的バイナリ線形分類器にするモデルを構築することが可能である。
【００１３】
検証済サンプルユニット120は、一組の検証済サンプル122をバイナリＳＶＭユニット110-1〜110-nの各々に入力することが可能である。該一組の検証済サンプル122は、前記複数のクラスの各々の複数のサンプル124を含むことが可能である。クラスのタイプは、該一組の検証済サンプルについて既知であることが可能である。事後確率ユニット130は、ベイズ推論を使用して、及び該一組の検証済サンプル122に応じて前記バイナリＳＶＭユニット110-1〜110-nの投票から決定された尤度推定値132に基づいて、前記複数のクラスの各々毎に事後確率134を計算することが可能である。
【００１４】
ベイズ推論は、更なる証拠が取得された際に仮説のための確率の推定値（probability estimate）をベイズ規則（Bayes' rule）を使用して更新する推論方法に関するものとすることが可能である。ベイズ規則は、第３のイベントについての調整の前（事前）及び該調整の後（事後）の、第２のイベントのオッズに対する第１のイベントのオッズに関するものとすることが可能である。ランダムなイベント又は不確かな命題（uncertain proposition）の事後確率は、関連する証拠又は背景を考慮した後に割り当てられる条件付き確率とすることが可能である。前記尤度推定値は、所与の仮説との前記証拠の適合性（compatibility）を示すことが可能である。該尤度推定値は、結果が与えられたパラメータの関数を記述する際に使用することが可能である。逆に、確率は、一定のパラメータ値が与えられた結果の関数を記述する際に使用することが可能である。図２−４に関してシステム100を一層詳細に説明する。
【００１５】
図２は、複数のクラスの事後確率を計算するためのシステム200を示す別の例示的なブロック図である。該システム200は、マイクロプロセッサ、コントローラ、メモリモジュール又はデバイス、ノートブックコンピュータ、デスクトップコンピュータ、オールインワンシステム、サーバ、ネットワーク装置、及びワイヤレス装置等とすることが可能である。
【００１６】
図２のシステム200は、少なくとも図１のシステム100の機能及び／又はハードウェアを含むことが可能である。例えば、システム200は、複数のバイナリＳＶＭユニット110-1〜110-n及び検証済サンプルユニット120を含む。更に、図２のシステム200の事後確率ユニット230は、少なくとも図１のシステム100の事後確率ユニット130の機能及び／又はハードウェアを含む。
【００１７】
また、システム200は、尤度推定ユニット240及び事前確率分布ユニット（prior unit）250を含む。該尤度推定ユニット240及び事前確率分布ユニット250は、例えば、以下で説明する機能を実施するための電子回路（例えば、制御ロジック及び／又はメモリ）を含むハードウェア装置を含むことが可能である。追加的又は代替的に、尤度推定ユニット240及び事前確率分布ユニット250は、マシン読み取り可能記憶媒体上にエンコードされ及びプロセッサにより実行することが可能な一連の命令として実施することが可能である。
【００１８】
尤度推定ユニット240は、バイナリＳＶＭユニット110-1〜110-nの各々毎に入力される各クラスに応じて投票される各クラス毎の尤度推定値132を決定することが可能である。事前確率分布ユニット250は、複数のクラスの各々毎に事前確率分布252を割り当てることが可能である。該事前確率分布252は、例えば、一組の検証済サンプル122の分布（各クラスの複数のサンプルの一部）を使用して決定すること及び／又は複数のクラスの事前知識から取得することが可能である。
【００１９】
事後確率ユニット230は、更に複数の事前確率分布252に基づいて複数のクラスの各々毎に事後確率134を計算することが可能である。該事前確率分布は、何らかの証拠を考慮する前の不確かな量についての不確かさを表現するものとなる確率分布を意味し得るものである。以下、図３−４に関してシステム200について一層詳細に説明する。
【００２０】
図３は、複数のクラスの事後確率を計算するための命令を含むコンピューティング装置300を示す例示的なブロック図である。同図の実施形態では、コンピューティング装置300は、プロセッサ310及びマシン読み取り可能記憶媒体320を含む。更に、該マシン読み取り可能記憶媒体320は、複数のクラスの事後確率を計算するための命令322,324,326,328を含む。
【００２１】
コンピューティング装置300は、例えば、マイクロプロセッサ、コントローラ、メモリモジュール又はデバイス、ノートブックコンピュータ、デスクトップコンピュータ、オールインワンシステム、サーバ、ネットワーク装置、ワイヤレス装置、及び前記命令322,324,326,328を実行することができる任意の他のタイプの装置に含まれていること又はかかる装置の一部をなすことが可能である。実施形態によっては、コンピューティング装置300は、メモリやコントローラ等の追加の構成要素を含み又はそれらに接続されていることが可能である。
【００２２】
プロセッサ310は、少なくとも１つの中央処理装置（CPU）、少なくとも１つの半導体ベースのマイクロプロセッサ、少なくとも１つのグラフィクス処理装置（GPU）、マイクロコントローラ、マイクロコードにより制御される専用論理ハードウェア、又はマシン読み取り可能記憶媒体320に格納されている命令の読み出し及びその実行に適したその他のハードウェア装置、又はそれらの組み合わせとすることが可能である。プロセッサ310は、命令322,324,326,328をフェッチし、デコードし、及び実行して、複数のクラスの事後確率の計算を実施することが可能である。命令の読み出し及び実行に代えて又はそれらに加えて、プロセッサ310は、少なくとも１つの集積回路（IC）、その他の制御ロジック、その他の電子回路、又はそれらの組み合わせであって命令322,324,326,328の機能を実行するための複数の電子的な構成要素を含むものを含むことが可能である。
【００２３】
マシン読み取り可能記憶媒体320は、任意の電子的、磁気的、光学的、又はその他の物理的な記憶装置であって実行可能な命令を収容し又は格納するものとすることが可能である。このため、マシン読み取り可能記憶媒体320は、例えば、RAM（Random Access Memory）、EEPROM（Electrically Erasable Programmable Read-Only Memory）、ハードディスクドライブ（storage drive）、及びCD-ROM（Compact Disc Read Only Memory）等とすることが可能である。このため、マシン読み取り可能記憶媒体320は、持続性のものとすることが可能である。以下で詳述するように、マシン読み取り可能記憶媒体320には、複数のクラスの事後確率を計算するための一連の実行可能命令をエンコードすることが可能である。
【００２４】
更に、命令322,324,326,328をは、プロセッサにより（例えば、該プロセッサの１つの処理要素又は複数の処理要素により）実行された際に、複数のプロセス（例えば、図４のプロセス）を該プロセッサに実行させることができるものである。例えば、実行命令322をプロセッサ310により実行して、複数のバイナリＳＶＭの各々に対して一組の検証済サンプルを実行することが可能である。複数のバイナリＳＶＭの各々は、入力された該一組の検証済サンプルに応じて複数のクラスのうちの異なるクラス対間で投票を行うことが可能である。該検証済サンプルのクラスは既知であることが可能である。該一組の検証済サンプルは、複数のクラスの各々の複数のサンプルを含むことが可能である。
【００２５】
決定命令324をプロセッサ310により実行して、前記バイナリＳＶＭの投票に基づいて尤度推定値を決定することが可能である。割当命令326をプロセッサ310により実行して、複数のクラスの各々毎に事前確率分布を割り当てることが可能である。該複数のクラスの複数の事前確率分布は、その合計を１とするよう正規化することが可能である。入力命令328をプロセッサ310により実行して、前記決定された尤度推定値と前記割り当てられた事前確率分布とをベイズ推論モデルに入力して、複数のクラスの各々毎に事後確率を計算することが可能である。
【００２６】
図４は、複数のクラスの事後確率を計算するための方法400を示す例示的なフローチャートである。方法400の実行についてシステム200に関して以下で説明するが、該方法400を実行するための他の適当な構成要素（例えば、システム100）を使用することが可能である。更に、該方法400を実行するための構成要素は、複数の装置（例えば、入力装置及び出力装置と通信可能な状態にある処理装置）にわたって分散させることが可能である。場合によっては、互いに協調して動作する複数の装置を単一の装置をみなして方法400を実行することが可能である。方法400は、マシン読み取り可能記憶媒体（例えば、記憶媒体320）上に格納された実行可能命令という形で、及び／又は電子回路という形で、実施することが可能である。
【００２７】
ブロック410で、システム200は、複数のクラスのうちの２つの間で投票を行うよう複数のバイナリＳＶＭユニット110-1〜110-nを訓練する。該バイナリＳＶＭユニット110-1〜110-nの各々は、複数のクラス112-1〜112-nのうちの異なるクラス対間で投票を行うことが可能である。例えば、クラスA,B,Cといった３つのクラスが存在する。このため、３つのＳＶＭ110-1〜110-3（例えば、AB分類器、AC分類器、BC分類器）が存在することが可能である。AB分類器は、クラス対A,B間で投票を行うことが可能である。AC分類器は、クラス対A,C間で投票を行うことが可能である。BC分類器は、クラス対B,C間で投票を行うことが可能である。
【００２８】
ブロック420で、システム200は、複数のクラスの各々毎に事前確率分布252（例えば、クラスA,B,Cの事前確率分布252）を割り当てる。次いで、ブロック430で、システム200は、一組の検証済サンプル122をバイナリＳＶＭユニット110-1〜110-nの各々に入力する。該一組の検証済サンプル122は、複数のクラスの各々（例えば、クラスA,B,C）の複数のサンプルを含むことが可能である。例えば、クラスAは複数の自動車の複数のイメージを表し、クラスBは複数のバイクの複数のイメージを表し、クラスCは人々の複数のイメージを表すことが可能である。
【００２９】
一実施形態では、該一組の検証済サンプル122は、複数のバイナリＳＶＭユニット110-1〜110-nの訓練時に使用される一組の訓練サンプルとは異なることが可能である。このため、バイナリＳＶＭユニット110-1〜110-nで一層同種のクラス（例えば、特徴ベクトルにおけるクラス内変動（in-class variation）が低下する場合のクラス）を使用することが可能となる。これにより、ＳＶＭの性能が改善され、及び必要な訓練の量が低減される。
【００３０】
前記一組の訓練サンプルは、複数のサブクラスを含むことが可能であり、該複数のサブクラスのうちの少なくとも２つのサブクラスは、前記複数のクラスのうちの１つのクラスに対応する。ブロック410における訓練は、該２つのサブクラスを区別し、及び複数のバイナリＳＶＭ110の少なくとも１つが所与のサンプルを該２つのサブクラスの一方に属するものと識別した場合に該２つのサブクラスを含む前記１つのクラスに投票するように、該複数のバイナリＳＶＭ110の少なくとも１つを訓練することを含むことが可能である。
【００３１】
例えば、スーパークラス（概念的には関連するが特徴ベクトルでは大きく異なるもの）をこのようにしてモデル化することが可能である。例えば、システム200は、「自動車」のクラスを「非自動車」のクラスと区別するよう視覚的分類器を訓練することが可能である。ブロック410の訓練中に、システム200は、ステップ１で（正面から見た自動車及び側方から見た自動車等について）別個のサブクラスを訓練することが可能である。同様に、システム200は、「非自動車」を表すよう多数の異なるクラスを訓練することが可能である。しかし、ブロック420で、一組の検証済サンプルに応じたかかる分類器の投票は、「自動車」又は「非自動車」クラスのみとなる。
【００３２】
ブロック440で、システム200は、バイナリＳＶＭユニット110-1〜110-nの投票に基づいて尤度推定値132を決定する。例えば、システム200は、以下のステップを実行して第１のバイナリＳＶＭ110-1の尤度推定値132を決定することが可能である。システム200は、入力された第１のクラス124の検証済サンプル122に応じて、複数のバイナリＳＶＭユニット110-1〜110-nのうちの第１のバイナリＳＶＭ110-1のクラス対の第１のクラスについての第１の投票数を先ず決定することが可能である。例えば、システム200は、クラスAの複数のサンプルを受信したことに応じてAB分類器がクラスAに投票した回数を決定することが可能である。
【００３３】
システム200はまた、入力された第１のクラス124の検証済サンプル122に応じて、第１のバイナリＳＶＭ110-1のクラス対の第２のクラスについての第２の投票数を決定することが可能である。例えば、システム200は、クラスAの複数のサンプルを受信したことに応じてAB分類器がクラスBに投票した回数を決定することが可能である。
【００３４】
次いで、システム200は、前記第１の投票数を、入力された第１のクラス124の検証済サンプル122の個数で除算して、第１のクラスの検証済サンプルが与えられた場合に第１のバイナリＳＶＭ110-1が第１のクラスに投票する第１の尤度推定値132を決定することが可能である。例えば、AB分類器は、クラスAのサンプルを10個受信したことに応じてクラスAに８回投票することが可能である。この場合には、８を10で除算して、クラスAのサンプルが与えられた場合にAB分類器がクラスAに投票する尤度推定値0.8が得られる。
【００３５】
システム200はまた、前記第２の投票数を、入力された第１のクラス124の検証済サンプル122の個数で除算して、第１のクラスの検証済サンプルが与えられた場合に第１のバイナリＳＶＭ110-1が第２のクラスに投票する第２の尤度推定値132を決定することが可能である。例えば、AB分類器は、クラスAのサンプルを10個受信したことに応じてクラスBに２回投票することが可能である。この場合には、２を10で除算して、クラスAのサンプルが与えられた場合にAB分類器がクラスBに投票する尤度推定値0.2が得られる。
【００３６】
上記ステップを、複数のクラス124の対応する残りの検証済サンプル122を使用して、該複数のクラスの残りの各々毎に繰り返して、第１のバイナリＳＶＭ110-1について尤度推定値132の残りを計算することが可能である。例えば、クラスBの検証済サンプルをAB分類器に対して実行して、クラスAが選択された回数とクラスBが選択された回数との割合を計算することが可能である。同様の処理をAB分類器についてクラスCの検証済サンプルについて実行して、ランダムな入力イメージが与えられた場合の偏り（bias）を決定することが可能である。
【００３７】
このため、上記ステップは、AB分類器について６つの尤度推定値、すなわち、AB分類器が、１）クラスAが与えられた場合にクラスAを選択する尤度推定値、２）クラスAが与えられた場合にクラスBを選択する尤度推定値、３）クラスBが与えられた場合にクラスAを選択する尤度推定値、４）クラスBが与えられた場合にクラスBを選択する尤度推定値、５）クラスCが与えられた場合にクラスAを選択する尤度推定値、６）クラスCが与えられた場合にクラスBを選択する尤度推定値を計算する。システム200は、バイナリＳＶＭ110の残りについて同様のステップを実行することが可能である。このため、この例によれば、６つの尤度推定値がAC分類器についても計算され、更に６つの尤度推定値がBC分類器について計算されることになる。
【００３８】
最後に、ブロック450で、システム200は、前記決定された尤度推定値132と前記割り当てられた事前確率分布252とに基づいて複数のクラスの各々毎に事後確率134を計算する。例えば、システム200は、先ず、バイナリＳＶＭ110-1〜110-nの各々に第１のサンプルを入力することが可能である。この第１のサンプルのクラスは既知であることが可能である。次いで、バイナリＳＶＭ110-1〜110-nの各々の投票を、該入力された第１のサンプルに応じて決定することが可能である。該投票は、バイナリＳＶＭの各々毎のクラス対の一方を示すことが可能である。例えば、該第１のサンプルに応じて、AB分類器はクラスAに投票することが可能であり、AC分類器はクラスCに投票することが可能であり、BC分類器はクラスBに投票することが可能である。
【００３９】
第１のクラス（例えば、クラスA）の事後確率134を計算するために、システム200は、第１のクラスを含むクラス対を有する複数のバイナリＳＶＭ110であって該第１のクラスのサンプルが与えられた該バイナリＳＶＭ110について決定された投票に対応する複数のバイナリＳＶＭ110に関する複数の尤度推定値132に該第１のクラスの事前確率分布252を乗算することにより、非正規化確率を最初に決定することが可能である。例えば、上述のように投票されたAB分類器、AC分類器、及びBC分類器を想定した場合、クラスAの非正規化確率のために乗算されるべき複数の項は、クラスAの事前確率分布、第１のサンプルがクラスAである場合にAB分類器がクラスAに投票した尤度推定値、及び第１のサンプルがクラスAである場合にAC分類器がクラスCに投票した尤度推定値を含むことが可能である。この場合、BC分類器は（クラスAを選択することができないため）含まれない。
【００４０】
次いで、システム200は、前記非正規化確率を正規化して第１のクラス（例えば、クラスA）の事後確率を計算することが可能である。システム200は、正規化のために以下のステップを実行することが可能である。最初に、システム200は、複数の事前確率分布252の各々と、第１のクラスを含むクラス対を有するバイナリＳＶＭ110のうちの１つに第１のクラスのサンプルが与えられた場合に該事前確率分布252のクラスが投票される尤度推定値132とを乗算することが可能である。例えば、システム200は、事前確率分布が乗算される３つの項、すなわち、１）クラスAの事前確率分布と、第１のサンプルがクラスAである場合にAB分類器がクラスAに投票した尤度推定値とを乗算した項、２）クラスBの事前確率分布と、第１のサンプルがクラスBである場合にAB分類器がクラスAに投票した尤度推定値とを乗算した項、及び３）クラスCの事前確率分布と、第１のサンプルがクラスCである場合にAB分類器がクラスAに投票した尤度推定値とを乗算した項を計算することが可能である。
【００４１】
次いで、システム200は、乗算された事前確率分布252の全てを加算して第１の分母を決定することが可能である。例えば、事前確率分布が乗算された前記３つの項を加算して第１の分母を作成することが可能である。次に、システム200は、上記乗算及び加算を繰り返して、第１のクラスを含むクラス対を有する複数のバイナリＳＶＭ110の残りについて、乗算された事前確率分布252を計算して、複数の分母の残りを決定することが可能である。例えば、システム200は、AB分類器について第１の分母が計算された方法と同様にして、AC分類器に関する第２の分母を計算することも可能である。ここで、BC分類器はクラスAに投票することができないため、BC分類器に対応する分母は含まれない。用語「分母」は、ベイズ推論に関しては、用語「証拠」と同じ意味で用いることが可能である。
【００４２】
その後、システム200は、上記複数の分母（例えば、第１及び第２の分母）を乗算する。次いで、システム200は、前記非正規化確率を前記乗算された複数の分母で除算して、正規化された第１のクラスについての事後確率134を決定する。例えば、クラスAの非正規化確率を、乗算された第１及び第２の分母で除算して、クラスAの事後確率を計算する。
【００４３】
システム200は、それぞれのクラスを含む複数のクラス対を有する複数のバイナリＳＶＭ110のそれぞれの決定された投票についての尤度推定値132が与えられた場合に、第１のサンプルであると仮定された複数のクラスの残りの各々毎に、非正規化確率を決定し及び正規化確率を決定するための前記ステップを繰り返して、複数のクラスの残りの各々毎に事後確率134を決定することが可能である。例えば、クラスB,Cの事後確率は、クラスAの事前確率を決定するためのステップと同様のステップを使用して決定することが可能である。
【００４４】
事前確率分布252は、複数のクラスの各々毎に、バイナリＳＶＭ110-1〜110-nの各々に第２のサンプルが入力される前に、対応する事後確率と置換することが可能である。例えば、クラスA,B,Cの事前確率分布の値は、クラスA,B,Cの計算された事後確率のそれぞれの値と置換することが可能である。次いで、上記処理を次のサンプル（例えば、第２のサンプル）について繰り返すことが可能である。
【図１】
2018501556.tif 000003
【図２】
2018501556.tif 000004
【図３】
2018501556.tif 000005
【図４】
2018501556.tif 000006
【国際調査報告】
2018501556.tif 000007
2018501556.tif 000008