"マルチクラス分類器をトレーニングするための方法であって、前記分類器によって求められるメンバーシップ確率に基づいて、1組のアクティブ画像から1つの問い合わせ画像を選択するステップであって、前記アクティブ画像は、ラベル無しである、選択するステップと、前記問い合わせ画像の前記メンバーシップ確率に基づいて、1組のトレーニング画像から1つのサンプル画像を選択するステップであって、前記トレーニング画像は、ラベル付きである、選択するステップと、前記問い合わせ画像及び前記サンプル画像を、出力デバイスにおいてユーザーに対して表示するステップと、入力デバイスを用いてユーザーからの応答を得るステップであって、前記応答は、イエス照合又はノー照合である、得るステップと、前記イエス照合が得られた場合には、前記サンプル画像のラベルと共に前記問い合わせ画像を前記トレーニングセットに追加し、そうでない場合には、前記マルチクラス分類器を得るために、所定の数のノー照合に達するまで、前記選択するステップ、前記表示するステップ及び前記得るステップを繰り返すステップと、を含むマルチクラス分類器をトレーニングするための方法。一対一サポートベクトルマシン、及び逐次最小最適化を用いて、前記メンバーシップ確率を推定するステップをさらに含む請求項1に記載のマルチクラス分類器をトレーニングするための方法。前記メンバーシップ確率は、ロジスティック回帰分類器を用いて推定される請求項2に記載のマルチクラス分類器をトレーニングするための方法。前記メンバーシップ確率は、複数のクラスにわたってフィッシャー判別分析を用いて推定される請求項2に記載のマルチクラス分類器をトレーニングするための方法。前記所定の数のノー照合に達した場合には、新たなクラスラベルを前記問い合わせ画像に割り当てるステップをさらに含む請求項1に記載のマルチクラス分類器をトレーニングするための方法。前記最初の1組のトレーニング画像は画像のシードセットからランダムに選択される請求項1に記載のマルチクラス分類器をトレーニングするための方法。前記最初の1組のトレーニング画像は画像サーチエンジンのデータベースに問い合わせることによって選択される請求項1に記載のマルチクラス分類器をトレーニングするための方法。前記最初の1組のトレーニング画像はユーザーによって供給される請求項1に記載のマルチクラス分類器をトレーニングするための方法。複数の応答を得るために複数のユーザーが用いられる請求項1に記載のマルチクラス分類器をトレーニングするための方法。前記問い合わせ画像を選択するステップは、予想される情報価値EVIに基づき、目的関数が予想されるリスクとユーザーラベル付けのコストを結合し、前記サンプル画像を選択するステップは、前記問い合わせ画像との一致の最大尤度に基づく請求項1に記載のマルチクラス分類器をトレーニングするための方法。凝集クラスタリングによって、トレーニングされたクラスをマージするステップをさらに含む請求項1に記載のマルチクラス分類器をトレーニングするための方法。クラス間類似度スコアが前記凝集クラスタリング内の所定のしきい値よりも大きい場合に、2つのクラスを結合するステップをさらに含む請求項11に記載のマルチクラス分類器をトレーニングするための方法。2つのクラスが前記ユーザーに対して表示され、前記2つのクラスがマージされるべきであるか否かを尋ねるとき、前記応答が前記イエス照合である場合に、前記2つのクラスを結合するステップをさらに含む請求項11に記載のマルチクラス分類器をトレーニングするための方法。用途及び分野の仕様に基づいて、予想されるリスクの要因を調整するステップをさらに含む請求項1に記載のマルチクラス分類器をトレーニングするための方法。前記ユーザーから無視応答を得るステップであって、前記1組のトレーニング画像から前記問い合わせ画像を削除する、得るステップをさらに含む請求項1に記載のマルチクラス分類器をトレーニングするための方法。1組のラベル無し画像に前記マルチクラス分類器を適用するステップであって、1組の検出結果を得る、適用するステップ、前記1組の検出結果のメンバーシップ確率を求めるステップ、所定のしきい値未満の前記メンバーシップ確率を有する前記1組の検出結果を前記1組のアクティブ画像に関連付けるステップ、及び前記マルチクラス分類器をトレーニングし直すステップであって、前記1組の検出結果を精緻化する、トレーニングし直すステップをさらに含む請求項1に記載のマルチクラス分類器をトレーニングするための方法。画像のデータベースは、サイズ、画像の種類ともに、益々増加しつつある。何千もの画像クラスを有するのが一般的である。規模が大きくなっても実用的である方法を設計するために、ユーザーのためのラベル付け及びインタラクションのより容易な形態を可能にすることが不可欠である。本発明の実施の形態は、ユーザーからのイエス/ノーフィードバックのみを必要とするマルチクラス分類器をトレーニングするための方法を提供する。インタラクションの各インスタンス中に、ユーザーは2つの画像を提示され、それらの画像が同じクラスに属するか否かを指示しなければならない。そのような入力を与えることは極めて容易であり、常に2つの画像しか照合する必要がないので、人的間違いに陥りにくくもある。また、その方法は、複数のユーザーによる分散型のラベル付けも可能にする。本発明は、2値フィードバックモデルにおける、予想される情報価値EVI:ExpectedValueInformationに基づく能動的選択手順を提供する。その手順は、ユーザーがラベル付けする労力を最小限に抑えながらも、精度を最大限にするように、ラベル付けのための画像対を繰り返し選択する。その方法は、100クラスもの数の分類問題に関して、従来のトレーニングモデルに比べて、ユーザー管理を実質的に最小限に抑えることができる。本発明者らが知る限り、これは、一人又は複数のユーザーからのイエス/ノー入力応答のみを必要とする初めてのマルチクラス能動トレーニング手法である。本発明では、ユーザーからの2値フィードバックのみを必要とする新たなマルチクラス能動トレーニングの枠組みを記述する。本発明の方法は、ユーザートレーニング時間及び労力を大きく削減する。その方法は、母集団不均衡及び雑音のような現実世界の問題に対してロバストである。図1は、本発明の実施の形態によるマルチクラス分類器150を能動的にトレーニングするための方法を示す。図2は、比較可能な擬似コードを示す。その方法は、当該技術分野において知られているように、メモリ、入力/出力インターフェースを含む、プロセッサ100において実行することができる。アクティブセット101は、多数のラベル無し画像を含み、本発明の方法は、それらの画像から、一人又は複数のユーザーが入力/出力デバイス141及び142を用いて照合する140するための問い合わせ画像102を選択する120。マルチクラス分類器をトレーニングするために、1組のラベル付きトレーニング画像104も用いられる。それらのトレーニング画像は、画像サーチエンジン106のデータベース105に問い合わせることによって得ることができるか、又はユーザーが供給することができる。基礎的な分類器として、一対一サポートベクトルマシンSVM:SupportVectorMachinesが用いられる。マルチクラスの場合、一対一SVMが用いられるクラス対毎に分類器がトレーニングされる。従来のマルチクラス能動トレーニングでは、ユーザーラベル付けのために、ラベル無し問い合わせ画像を選択する必要がある。しかしながら、本発明によれば、ユーザー入力は、2値イエス/ノーのみであるので、本発明では、照合用として既知のクラスからのラベル付き画像もユーザーに対して表示する必要がある。トレーニングセット104からサンプル画像103を選択することは、本発明の枠組みが必要とする能動トレーニングの新たな態様である。本発明は、問い合わせ選択120及びサンプル選択130に焦点を当てる。本発明による問い合わせ及びサンプル選択のための手法は確率的であり、すなわち、現在のトレーニングセットに基づいて、アクティブセット101内の画像のためのクラスメンバーシップ確率推定値が得られる。この実施の形態では、本発明は、ラベル無し画像に関するマルチクラス確率推定のための一対一SVMとのペアワイズ結合と組み合わせて、プラッツの方法を用いて、SVMマージンに基づいて2値確率を推定する。プラッツの方法は、最適化及び機械学習において逐次最小最適化SMO:SequentialMinimalOptimizationとしてよく知られている。たとえば、米国特許第7,599,897号を参照されたい。プラッツの方法は、大きな二次計画法QP:QuadraticProgramming問題を、考えられる最小の一連のQP問題に分割し、その後、それらの問題を分析的に解く。代替的には、本発明では、ロジスティック曲線を用いてメンバーシップの確率を予測するために、ロジスティック回帰分類器を用いることができる。線形判別分析LDA:LinearDiscriminantAnalysis、たとえば、フィッシャー線形判別分析を用いて、2つ以上のクラスを特徴付ける、画像内の特徴の一次結合を求めることもできる。問い合わせ選択120は、推定された110クラスメンバーシップ確率を用いて、アクティブセット101から問い合わせ画像102を選択する。問い合わせ画像のための推定されたメンバーシップ確率に基づいて、サンプル選択手順130は、トレーニングセット104からサンプル画像103を選択する。出力デバイス141上で照合するために140、問い合わせ画像及びサンプル画像対がユーザーに対して表示される。入力デバイス142を用いて、イエス照合応答が得られる場合には、問い合わせ画像及びサンプル画像が同じクラスに属することを指示しており、この問い合わせ画像が、サンプル画像からのクラスラベルと共に、トレーニングセット104に追加される。ノー照合応答が得られる場合には、異なるサンプル画像を得るために、サンプル選択手順130が繰返し呼び出される。後者の場合、ユーザーによって、新たなクラスラベルが開始され、問い合わせ画像に割り当てられる。多数のクラスが存在するとき、新たなクラスを開始するには、多数のユーザー応答を必要とする可能性がある。以下では、本発明者らは、クラスタマージングと共に、高速の新クラス初期化ステップを通じて、これをいかに克服するかを記述する。その後、1組のラベル無し画像にマルチクラス分類器を適用して、1組の検出結果を求め、その1組の検出結果のためのメンバーシップ確率を求めることができる。その後、所定のしきい値未満のメンバーシップ確率を有する1組の検出結果を、1組のアクティブ画像と関連付けることができ、マルチクラス分類器をトレーニングし直して、その1組の検出結果を精緻化することができる。そのような仕組みを通して、シード画像セットから最初にランダムに選択されたわずかなトレーニング画像を用いて、トレーニングを開始することができる。その過程が継続するとき、その能動選択手順は、別の試験セットにおいて同様の分類速度を達成するのに、ランダム選択よりもはるかに少ない問い合わせしか必要としない。その方法は、利用可能である場合には、正確なクラスラベル付けに関するフィードバックも利用できることに留意されたい。しかしながら、2値フィードバックは、適用性を一般化し、新たな未知の分類問題におけるトレーニングを可能にする。ユーザーにペアワイズマストリンクmust-link及びキャンノットリンクcannot-link制約を要求することによって、データクラスタリングとの関連において、2値入力が用いられてきた。しかしながら、分類とは対照的に、全てのデータがバッチクラスタリングbatchclustering環境を通して入手可能であるので、2値入力をそのまま分類に拡張することはできない。能動トレーニング法2値フィードバック能動トレーニングには、2つの部分がある。iアクティブセットから問い合わせ画像を選択すること。ii既知のクラスラベルを有するサンプル画像を選択して、問い合わせ画像と共にユーザーに対して表示すること。問い合わせ選択問い合わせ選択の目的は、情報を提供する画像、すなわち、分類の精度を改善することに繋がる可能性がある画像を問い合わせることである。本発明では、問い合わせ画像との一致の最大尤度に基づく、予想される情報価値EVIを用いる。EVIは、決定理論の分野においてよく知られている。その概念は、目的関数に基づいてサンプルを選択することであり、その関数は、予想されるリスクと、ユーザーラベル付けのコストとを結合する。kクラス問題のためのリスク行列Mを考える。その行列内の成分Mijは、真のラベルiを有する画像をクラスjに属するものと誤分類することに関連するリスクを指示する。正しい分類は、リスクを被ることはなく、それゆえ、行列Mの対角要素は0である。本発明者らは、ラベル無し画像xのための推定されるクラスメンバーシップ分布を、次式のように表す。xのための真のクラスメンバーシップ分布は、未知であるので、実際の誤分類リスクを求めることはできない。代わりに、本発明では、xのための予想される誤分類リスクを次式1のように求める。ただし、Lは、確率が推定される1組のラベル付きサンプルである。試験セットTは、N個の画像x1,...xNを有する。試験セットにわたって予想される全リスクサイズによって正規化されるは、次式2のようになる。上記の式は、全リスクを計算しながら、試験セットが入手できることを要求する。典型的には、試験セットは、予め入手することはできない。それゆえ、本発明では、予想されるリスクを求めるために、アクティブセットA101内の画像を用いることができる。実際には、分類に関する大部分の研究は、試験セットが存在しない場合に、代わりのデータを用いて誤分類リスクを推定する。用途及び分野の仕様によって、予想されるリスク要因を調整することができる。多くのシナリオにおいて、完全に入手可能な1組のラベル無し画像がアクティブセットとして用いられ、それは典型的には非常に大きいので、アクティブセットに関するリスクの推定値は、かなり信頼性が高い。ユーザーからそのラベルを入手することによって、セットA内の画像yがラベル付きトレーニングセット104に追加される場合には、アクティブセットに関して予想されるリスク低減は、次式3のようになる。ただし、次式が成り立つ。上記の式は、問い合わせ画像yの値を取り込み、画像yをラベル付きトレーニングセットに追加する。しかしながら、本発明では、ユーザーから画像yのためのフィードバックを得ることに関連するコストも考慮する必要がある。画像yに関するユーザーラベル付けを得るコストは、Cyであると仮定する。本発明の方法では、誤分類のリスク低減を最大にしながら、かかったコストを低減する画像を能動的に選択することを望む。リスク低減及びラベル付けコストが、同じ単位において判定されると仮定すると、問い合わせ画像yのためのEVIを表す結合目的関数jointobjectiveは、次式4のようになる。上記の式の項RLはy、すなわち、問い合わせのための選択されることになる例から独立している。それゆえ、EVIを最大にするための能動的選択は、最小化として次式5で表すことができる。上記の枠組みは、その分野に特有である、リスク及びラベル付けコストの任意の概念を利用することができる。たとえば、本発明では、或る特定のクラスに属する例を誤分類することは、他よりも費用がかかる可能性があるという事実を捕捉することができる。そのような概念は、画像が潜在的に危険性のある腫瘍を含むか否かを判断できるように医療画像を分類する場合に極めて役に立つことがある。きれいな画像を腫瘍があると誤分類することは、医師がその分類を確認するのにコストがかかるだけである。しかしながら、腫瘍画像をきれいであると誤分類することは、医師が全てのデータに手作業で目を通すことができない大きなデータセットでは、致命的になりかねない。そのようなシナリオでは、種々の誤分類リスクを、行列M内に適切に符号化することができる。能動トレーニングに関する大部分の研究と同様に、本発明の評価は、分類精度に基づく。したがって、本発明者らは、Mij=1ただし、i≠jのような、等しい誤分類コストを使用する。サンプル選択問い合わせ画像が与えられたとすると、サンプル選択手順は、ユーザーが与えなければならない応答の数を最小限に抑えるように、サンプル画像を選択する。本発明の枠組みでは、サンプル画像は既知のクラスに属する。その際、サンプル画像を選択するという問題は、サンプル画像として代表的な画像を選択することができる、その問い合わせ画像のための有望なクラスを見つけるという問題と同じである。問い合わせ画像及びサンプル画像を提示されるときに、ユーザーからのイエス照合応答は、実際に、問い合わせ画像そのもののクラスラベルを与える。ノー照合応答は、ほとんど情報を与えない。データセットが100クラスからなると仮定する。或る特定の問い合わせ-サンプル画像対に対してユーザーからノー照合応答があると、問い合わせ画像が属することができる99個の潜在的なクラスが依然として残される。この了解に基づいて、サンプル画像を選択する目的は、ユーザーからのイエス照合応答の尤度を最大することである。サンプル画像クラスを選択することは、再び、選択された問い合わせ画像のための推定されたクラスメンバーシップ確率を用いることによって成し遂げることができる。表記を簡単にするために、問い合わせ画像分布{p1,...,pk}は、ソートされた順序においてp1≧p2≧...≧pkのようになると仮定する。その過程は、以下のように進む。クラス1から代表的なサンプル画像を選択し、ユーザー応答を得る。クラスi-1に対してノー照合応答が得られる間、クラスiからサンプル画像を選択して、ユーザーに提示する。これが、イエス照合応答が得られるまで続けられる。要求されるユーザー応答の数を最小限に抑えるために、そのような方式を通して、有望である可能性が高いクラスからのサンプル画像ほど、その過程において早期に選択される。ラベル付けコスト2値フィードバック環境において、ラベル付けのための各2値比較が一定のコスト時間を必要とすると仮定するのが妥当である。したがって、問い合わせ画像毎に、クラスラベルを得るためにかかるコストは、必要とされる2値比較の数に等しい。この数は、未知であるので、本発明では、代わりに、推定されるクラスメンバーシップ分布に基づいて、その期待値を求める。その分布が、上記のようなソートされた順序において存在すると仮定される場合には、イエス照合応答を得るために予想されるユーザー応答の数は、次式6のようになる。これは、ユーザーラベル付けコストでもある。本発明では、ラベル付けコストと同じ単位である、真のリスクを求めるのにかかる現実世界コストで、Mをスケーリングすることによって誤分類リスクをスケーリングすることができる。ここで、本発明では、真のリスクをアクティブセット内の誤分類の予想される数として選択し、アクティブセットサイズでMをスケーリングすることによって、リスクを求める。Cxの選択と共に、これは結局、ユーザーからの各2値入力のコストをあらゆる誤分類と同等と見なすことになり、すなわち、本発明では、1つのラベル無し画像を正しく分類するために、ユーザーから1つの2値入力を得る。終了判定基準上記のEVIに基づく目的関数は、興味を引くような終了判定基準に繋がる。本発明では、任意のラベル無し画像のための最大EVIが負であるときに、すなわち、次式が成立するときに、終了することができる。本発明によるリスク及びコストの定義によれば、EVIの負の値は、ユーザーから入力される1つの2値が誤分類の数を1つも減らさないと予想されること、それゆえ、問い合わせが情報を得るだけの価値がないことを指示する。特定の分野の知識が入手可能である場合には、代わりに、現実世界リスク及びラベル付けコストの異なる概念を利用できることに留意されたい。選択及び中止判定基準は、使用される特定の量をそのまま取り込む。別の終了判定基準は、イエス及びノー照合応答に加えて、ユーザーから無視応答を得ることである。これにより、ユーザーは、1組のトレーニング画像から現在の問い合わせ画像を削除できるようになる143。そのような削除される画像は、雑音のある画像、複数の物体を示す画像、不鮮明な画像、及び分類器に学習してもらいたい任意の意味クラスに属さない画像の場合がある。新たなクラスを開始する多くの能動トレーニング法は、最初のトレーニングセットが全てのクラスからの例を含むことを制限的に仮定する。この仮定は、大多数の現実の問題にとって現実的でない。なぜなら、ユーザーが全てのクラスを有するトレーニングセットを明確に構成しなければならないので、管理を軽減するという本発明の目的を無にするためである。また、或る方法が長期にわたって機能するように期待される場合には、新たなクラスを取り扱うことは、不可欠である。したがって、本発明では、小さなシードセットから開始し、新たなクラスを動的に追加できるようにする。上記のサンプル選択法では、サンプル画像を示すことによって、イエス照合応答が得られるまでユーザーは問い合わせられる。しかしながら、問い合わせ画像が現在のトレーニングセット内に存在しないクラスに属する場合には、新たなクラスを開始するのに、数多くの問い合わせが必要とされることになる。代わりに、本発明では、或る決まった少数、たとえば、5個のノー照合応答が得られるときに、新たなクラスを開始する。良好なクラスモデルによって、予想される分布が、ラベル無し画像のクラスを正確にモデル化する。それゆえ、いくつかの最も有望なクラスに対して複数のノー照合応答があることは、多くの場合に、以前に見かけていないクラスが存在することを指示する。しかしながら、ラベル無し画像がトレーニングセット内に存在するクラスに属することも起こり得る。そのような場合には、新たなクラスを生成し、そのクラスをラベル無し画像に割り当てる結果として、過度のクラスタリングが生じる。これは、ユーザー入力と共に、ミニマックスカット手順後に、凝集クラスタリングによって、トレーニングされたクラスをマージすることクラスタマージングによって対処される。クラス間類似度スコアが凝集クラスタリング内の所定のしきい値よりも大きい場合には、そのクラスタリングは、2つのクラスを結合する。この場合、2つのクラスからの2つのトレーニング画像がユーザーに対して表示され、2つのクラスがマージされるべきであるか否かを尋ねるときに、その応答がイエス照合である場合には、2つのクラスターはマージされる。凝集クラスタリングにおける基本的な発想は、最も高い類似度連関値lCi,Cjを有する2つのクラスターを繰り返しマージすることである。ミニマックスクラスタリングの場合、連関関数は、次式のようになる。ただし、sはクラスター類似度スコア次式を示す。ここで、Kは2つの画像xとyとの間の類似度を取り込むカーネル関数であるSVMを用いる分類の場合にも、同じカーネル関数が用いられる。本発明の方法では、ユーザーフィードバックを繰り返す度に、クラスター連関値を評価する。クラスターCi及びCjの場合に、最大連関値クラスターが重なることを指示するであり、0.5のしきい値より大きい場合には、クラスターCi及びCjからの2つの画像を示すことによって、ユーザーに問い合わせる。イエス照合応答の場合、結果として2つのクラスターがマージされる。本発明では、ユーザーフィードバックを有するので、本発明の方法は、教師なしクラスタリングよりもはるかに簡単である。したがって、この方法は、用いられる特定のしきい値の影響を比較的受けにくく、受ける雑音が少ない。また、本発明では、繰り返す度に連関値を求める必要はないことにも留意されたい。簡単な増分計算しか必要とされない。要するに、新たなクラスが迅速に開始され、誤ったクラスは、ほとんどユーザーフィードバックを用いることなくクラスタマージングによって訂正される。計算に関する検討サイズN及びkクラスのアクティブセットの場合に、図2の本発明の手順における各問い合わせ繰り返しの計算の複雑さは、ON2k3である。それは、小さな問題の場合に十分に機能するが、規模が大きくなるほど、そのコストが実用的でなくなる可能性がある。それゆえ、本発明ではいくつかの近似を用いて、計算費用を著しく低減し、数多くのクラスを有する大きな問題の場合でも、その実施を効率的にする。期待値計算上記の手順では、予想されるリスクを推定することは、費用がかかる。本発明では、ラベル無し画像毎に、あり得るクラスのいずれかに画像が属することができると仮定して、分類器をトレーニングする必要がある図2の手順の4行目。これは、数多くのクラスが存在するときに時間がかかる可能性がある。これを克服するために、本発明では、以下の観測を行なう。ラベル無し画像の推定確率分布が与えられたとすると、低い確率値を割り当てられるクラスに属する可能性は低く、すなわち、その画像は、最も高い推定確率を有するクラスに属する可能性が最も高い。したがって、全ての取り得るクラスを一巡する代わりに、本発明者らは、最も可能性の高いクラスだけを一巡することができる。詳細には、上から2つの最も可能性の高いクラスは、判別情報の大部分を含み、一方、確率値が小さくなるほど、ほとんど情報を含まないので、本発明では、上から2つの最も可能性の高いクラスだけを一巡する。そのような近似は、或る程度まで、推定されるモデルが正確であることを当てにしており、それは、計算しやすくするために多くの場合に行なわれる楽観的な仮定を含む。さらに、本発明では、式1に対する近似として、ラベル無し画像に関する予想されるリスクを計算するために9行目、同じ上から2つの近似を用いることができる。リスクを推定するためのクラスタリング上記の手順では、完全なアクティブセットにおいて、リスクを推定する必要がある。代わりに、本発明では、最初に、カーネルk平均手順を用いて、アクティブセット内のラベル無し画像をクラスタリングする。その後、本発明では、各クラスターから1つの代表的な図心に最も近い画像を選択することによって、新たなラベル無し画像セットを形成し、この削減されたセットに関してリスクを推定する。最初に、一度だけクラスタリングを実行し、問い合わせが繰り返される度に実行しない。本発明の実施態様では、クラスターの数をアクティブセットサイズの1/100に固定する。この近似は、能動的に選択された画像を稀に時間のうちの5未満しか変更せず、推定されるリスク値、及び将来の分類精度において無視できる程度の差しかもたらさない。用いられる別の近似は、アクティブセットをサンプリングして、EVIを実行するために得られるセットを小さくすることである。不確定サンプリングのような、効率的な能動選択ヒューリスティックを利用して、小さなセットを形成することができる。不確定サンプリング手順を用いるとき、本発明では、最初に、アクティブセットから約50画像の小さなセットをサンプリングし、その後、EVIを用いて、この小さくなったセットから画像を選択する。上記の近似によれば、各問い合わせ繰り返しの複雑さは、ONk2であり、元のバージョンよりも大きく改善される。これは、従来技術における能動的選択において多くの場合に観測される3乗スケーリングよりもはるかに良好である。本発明では、ユーザーからの2値フィードバックのみを必要とする新たなマルチクラス能動トレーニングの枠組みを記述する。本発明の方法は、ユーザートレーニング時間及び労力を大きく削減する。その方法は、母集団不均衡及び雑音のような現実世界の問題に対してロバストである。図4は、従来のインタラクティブ分類器トレーニングを示しており、ユーザーは、数百のカテゴリを含む可能性がある大きなデータセットから、問い合わせ画像のための1つのクラス301を入力する必要がある。対照的に、図3に示されるように、ユーザーは、問い合わせ画像及びサンプル画像が一致するか否かイエス/ノー302、それゆえ、同じクラスのメンバーであるか否かを指示するだけである。本発明を、好ましい実施の形態の例として説明してきたが、本発明の精神及び範囲内で他のさまざまな適合及び変更を行えることが理解されるべきである。したがって、本発明の真の精神及び範囲内に入るすべての変形及び変更を包含することが、添付の特許請求の範囲の目的である。"