(57)【特許請求の範囲】
【請求項１】
話者認識又は顔認識に用いられる識別的訓練のためのパターン認識装置であって、  ａ．ラベルなしデータ記憶装置に格納されている訓練データ間の類似度を計算する類似度計算器と、  ｂ．ラベル記憶装置に格納されている前記訓練データの現在のラベルに従って、前記類似度から統計量を計算する統計量計算器と、  ｃ．前記訓練データと前記訓練データの前記統計量と前記現在のラベルとパラメータ記憶装置に格納されている確率的線形判別分析（ＰＬＤＡ）パラメータとを受けて、誤認識に対するコストを、前記統計量から得られる正則化項で最小化することを目的とする目的関数を最小化するように、前記ＰＬＤＡパラメータと前記訓練データの前記ラベルとを更新して、更新したＰＬＤＡパラメータおよび更新したラベルをそれぞれ前記パラメータ記憶装置および前記ラベル記憶装置に格納する、識別的ＰＬＤＡ訓練器と、を備え、 前記識別的訓練が収束するまで、前記統計量計算器による計算および前記識別的ＰＬＤＡ訓練器による更新を反復することを特徴とするパターン認識装置。
【請求項２】
前記類似度計算器は、余弦類似度、ＰＬＤＡ尤度比スコア、およびＳＶＭスコアのうちの少なくとも１つを計算する、請求項１に記載のパターン認識装置。
【請求項３】
前記統計量計算器は、前記類似度の平均値および分散値の少なくとも１つを計算する、請求項１または２に記載のパターン認識装置。
【請求項４】
前記識別的ＰＬＤＡ訓練器は、一部が真のラベルを有する前記訓練データをラベル付きデータ記憶装置から受け、前記真のラベルを持つデータについてはラベルの更新をスキップする、請求項１乃至３のいずれか一項に記載のパターン認識装置。
【請求項５】
話者認識又は顔認識に用いられる識別的訓練のためのパターン認識装置で実行されるパターン認識方法であって、 ラベルなしデータ記憶装置に格納されている訓練データ間の類似度を計算することと、 ラベル記憶装置に格納されている前記訓練データの現在のラベルに従って、前記類似度から統計量を計算することと、  前記訓練データと前記訓練データの前記統計量と前記現在のラベルとパラメータ記憶装置に格納されている確率的線形判別分析（ＰＬＤＡ）パラメータとを受けて、誤認識に対するコストを、前記統計量から得られる正則化項で最小化することを目的とする目的関数を最小化するように、前記ＰＬＤＡパラメータと前記訓練データの前記ラベルとを更新して、更新したＰＬＤＡパラメータおよび更新したラベルをそれぞれ前記パラメータ記憶装置および前記ラベル記憶装置に格納することと、を含み、 前記識別的訓練が収束するまで、前記統計量を計算することと前記更新することとを反復することを特徴とするパターン認識方法。
【請求項６】
話者認識又は顔認識に用いられる識別的訓練のために、コンピュータを、 ラベルなしデータ記憶装置に格納されている訓練データ間の類似度を計算する類似度計算手段と、 ラベル記憶装置に格納されている前記訓練データの現在のラベルに従って、前記類似度から統計量を計算する統計量計算手段と、  前記訓練データと前記訓練データの前記統計量と前記現在のラベルとパラメータ記憶装置に格納されている確率的線形判別分析（ＰＬＤＡ）パラメータとを受けて、誤認識に対するコストを、前記統計量から得られる正則化項で最小化することを目的とする目的関数を最小化するように、前記ＰＬＤＡパラメータと前記訓練データの前記ラベルとを更新して、更新したＰＬＤＡパラメータおよび更新したラベルをそれぞれ前記パラメータ記憶装置および前記ラベル記憶装置に格納する、識別的ＰＬＤＡ訓練手段と、して機能させ、 前記識別的訓練が収束するまで、前記統計量計算手段による計算および前記識別的ＰＬＤＡ訓練手段による更新を、前記コンピュータに反復させる、パターン認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像、テレビ映像、音声および音響などのパターン間の類似度を計算し、更に必要に応じてそれらをあるクラスの１つに分類する、パターン認識装置、方法、およびプログラムに関する。
【背景技術】
【０００２】
パターン認識システムは、機械学習の理論や技術に基づいており、広く日常生活に適用されて、科学、工学、農業、電子商取引、医学、医療用画像解析、軍事、および国家安全などの多様な分野における現実の問題を解決している。
【０００３】
パターン認識における１つの重要な技術は、確率的線形判別分析（ＰＬＤＡ）であって、これは、クラス内変動を相殺して、クラス特有の要因を他の無関係な要因から分離するための強力なデータ駆動型機構を提供する。ＰＬＤＡを用いて、単一の例からこれまで見られなかったクラスのモデルを構築でき、クラスのより良い表現のために多数の例を組み合わせることができる。ＰＬＤＡは、顔認識、話者認識などにおいて有効であることがわかっている。
【０００４】
しかしながら、  ＰＬＤＡにおける従来のモデル推定が正確でないことが判明した。それは、クラス変数の事前確率と特徴ベクトル（与えられたパターンから抽出される）の条件付き確率との両方がガウス分布であることを前提としているが、実際には、データ分布は、しばしば、裾の重い分布となる傾向にある。モデルとデータとの間にミスマッチがある時はいつでも、識別的訓練（ＤＴ）が性能を改善する。識別的に訓練されたＰＬＤＡ（ＤＴ−ＰＬＤＡ）は、そのスコア関数におけるＰＬＤＡのパラメータのすべてを最適化することを目的とする。「スコア」は、一対のパターンが同一クラスからのものであることの、異なるクラスからのものであることに対する尤度比に関しての、類似性測度の一種を言う。そこで、ＤＴ−ＰＬＤＡは、ＰＬＤＡの不正確なモデル推定の問題を解決し、より大きな識別能力を持つ。
【０００５】
ＤＴ−ＰＬＤＡの成功にもかかわらず、これには、大量のマッチしたラベル付きデータを必要とするという厳しい条件がある。なぜなら、ＤＴ−ＰＬＤＡは、ほぼあらゆるラベル集合にフィッティングでき、容易にオーバーフィッティング（過学習）するからである。本書における「ラベル」とは、「ターゲット」または「ノンターゲット」を言う。もしデータが同一クラスからのものであるなら、それらは「ターゲット」としてラベルされ、さもなければ、それらは「ノンターゲット」としてラベルされる。そこで、ＤＴ−ＰＬＤＡは、実際の応用においてしばしば存在するドメインミスマッチに対して、関連するＰＬＤＡよりもロバスト性が低い。本書における「ドメイン」とは、話者認識の場合における言語差、チャネル差、ＳＮＲ（信号雑音比）差、および顔認識の場合における照度差、ポーズ差、ＳＮＲを含む、データの種々の条件を言う。実際には、ターゲットドメインとマッチする多量のデータがしばしば存在する。しかし、それらのほとんどはラベル付けされていない。そこで、それらも、ＤＴ−ＰＬＤＡにおいて使用することができない。豊富な資源であるラベルなしデータをどのように利用するかが、困難な課題として残っている。
【０００６】
非特許文献１は、識別的に訓練されたＰＬＤＡ（ＤＴ−ＰＬＤＡ）の技術を開示している。これは、関連する生成的に訓練されたＰＬＤＡよりパフォーマンスが優れている。
非特許文献２は、クラスタリングアルゴリズムとして特徴空間における凝集型クラスタリング３０２（図８）を行い、データに対してラベルの作成３０３を行い、次に教師ありＰＬＤＡ訓練３０４を適用し、ＰＬＤＡパラメータ３０５を格納する、技術を開示している。テスト段階において、登録データとテストデータとが与えられ、ＰＬＤＡ分類器３０６は、「ターゲット／ノンターゲット」の回答を与える。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】L. Burget, O. Plchot, S. Cumani, O. Glembek, P. Matejka, and N. Brummer, “Discriminatively trained probabilistic linear discriminant analysis for speaker verification,” ICASSP 2011
【非特許文献２】S. Novoselov, T. Pekhovsky and K. Simonchik, “STC Speaker Recognition System for the NIST i-Vector Challenge,” Odyssey 2014
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、非特許文献１は、多量のラベル付きデータが利用可能である場合のみ働くことができる。非特許文献２は、クラスタリングにおいて生成される余分な誤差をＰＬＤＡ訓練に導入する。したがって、信頼できないラベルを用いて訓練されたＰＬＤＡは、評価において信頼できる決定（ターゲット／ノンターゲット）を生成できない。このことは、識別的な学習がほとんどあらゆるラベルセットにフィッティングできるため、ミスラベリングにより、ＤＴ−ＰＬＤＡに対して特に有害である。
【０００９】
本発明は、上述した状況に鑑みてなされたものであって、本発明の目的は、ラベルとＤＴ−ＰＬＤＡモデルの、より正確かつ信頼できる同時推定を提供し、それにより、ミスラベリングに対するロバスト性を与え、データ統計量から導かれる正則化の制約をもって大域的最適化を達成することである。そこで、より高いロバスト性を備えつつより信頼性高くラベルが作成され、ＤＴ−ＰＬＤＡは、ラベリングにそれほど直接的には依存しない。したがって、関連技術における上記問題である、ＤＴ−ＰＬＤＡにおけるラベルなしデータの使用という課題を解決する。
【課題を解決するための手段】
【００１０】  上記問題を解決するため、本発明の第１の例の態様は、話者認識又は顔認識に用いられる識別的訓練のためのパターン認識装置であって、ラベルなしデータ記憶装置に格納されている訓練データ間の類似度を計算する類似度計算器と；ラベル記憶装置に格納されている前記訓練データの現在のラベルに従って、前記類似度から統計量を計算する統計量計算器と；前記訓練データと前記訓練データの前記統計量と前記現在のラベルとパラメータ記憶装置に格納されている確率的線形判別分析（ＰＬＤＡ）パラメータとを受けて、誤認識に対するコストを、前記統計量から得られる正則化項で最小化することを目的とする目的関数を最小化するように、前記ＰＬＤＡパラメータと前記訓練データの前記ラベルとを更新して、更新したＰＬＤＡパラメータおよび更新したラベルをそれぞれ前記パラメータ記憶装置および前記ラベル記憶装置に格納する、識別的ＰＬＤＡ訓練器と；を備え、前記識別的訓練が収束するまで、前記統計量計算器による計算および前記識別的ＰＬＤＡ訓練器による更新を反復することを特徴とする識別的訓練のためのパターン認識装置である。  本発明の第２の例の態様は、話者認識又は顔認識に用いられる識別的訓練のためのパターン認識装置で実行されるパターン認識方法であって、ラベルなしデータ記憶装置に格納されている訓練データ間の類似度を計算することと；ラベル記憶装置に格納されている前記訓練データの現在のラベルに従って、前記類似度から統計量を計算することと；前記訓練データと前記訓練データの前記統計量と前記現在のラベルとパラメータ記憶装置に格納されている確率的線形判別分析（ＰＬＤＡ）パラメータとを受けて、前記ＰＬＤＡパラメータと前記訓練データの前記ラベルとを更新して、更新したＰＬＤＡパラメータおよび更新したラベルをそれぞれ前記パラメータ記憶装置および前記ラベル記憶装置に格納することと；を含み、前記識別的訓練が収束するまで、前記統計量を計算することと前記更新することとを反復することを特徴とするパターン認識方法である。  
【発明の効果】
【００１１】
本発明によれば、ラベルなしデータのラベルとＤＴ−ＰＬＤＡパラメータとが、大域的最適化を達成する単一の基準を使用して、より正確にかつ確実に、同時に推定される。ＤＴ−ＰＬＤＡ訓練がクラスタリングによって作成されたラベルに直接的に依存する関連技術とは異なり、本発明は、データから直接的にＤＴ−ＰＬＤＡを訓練し、そこで、ミスラベリングによる損害が軽減される。したがって、存在するラベルなしデータを利用する、より適切な方法が提供される。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態（教師なしＤＴ−ＰＬＤＡ）によるブロック図である。
【図２】図１に示された全体の動作のフローチャートの一例を示す図である。
【図３】本発明の実施形態（ＤＴ−ＰＬＤＡパラメータがラベルなしデータを使用して訓練される）を示すフローチャートである。
【図４】図１と図５に示される本発明の実施形態（ＤＴ−ＰＬＤＡ分類の評価部）を示すフローチャートである。
【図５】本発明の第２の実施形態（半教師ありＤＴ−ＰＬＤＡ）によるブロック図である。
【図６】図５に示された全体の動作のフローチャートの一例を示す図である。
【図７】本発明の実施形態（ＤＴ−ＰＬＤＡパラメータがラベルなしデータとラベル付きデータとを使用して訓練される）を示すフローチャートである。
【図８】関連技術（クラスタリングとＰＬＤＡ）のブロック図である。
【発明を実施するための形態】
【００１３】
当業者であれば、図面中の要素が簡略化および明確化のために図示され、必ずしも縮尺どおりに描かれていないことが理解されるであろう。例えば、集積回路アーキテクチャーを図示する図面におけるいくつかの要素の寸法は、本発明および代替実施形態の理解を向上させる一助となるように、他の要素と比較して誇張されている。
【００１４】
本発明の各実施形態について、図面を参照して以下に説明する。以下の詳細な説明は、本来、単なる例示にすぎず、本発明や本発明の応用および使用を制限するつもりはない。更に、前述した本発明の背景や以降の詳細な説明において提示されるいかなる理論によっても拘束されるつもりはない。
【００１５】
＜第１の実施形態＞
図１は、本発明の第１の実施形態のブロック図を示す。図面によれば、本実施形態は、類似度計算器１０２と、統計量計算器１０４と、識別的訓練器１０５と、ＤＴ−ＰＬＤＡ分類器１０７とを有する。
【００１６】
訓練部において、類似度計算器１０２は、先ず、ラベルなしデータ記憶装置１０１に格納されたデータの組み合せの全てまたは一部の間の類似度を計算する。つぎに、ラベル記憶装置１０３に格納された初期ラベルセット（各組み合わせに対する「ターゲット」のラベル又は「ノンターゲット」のラベル）を用いて、統計量計算器１０４は、それぞれ、「ターゲット」ラベルと「ノンターゲット」ラベルをもつものの統計量を計算する。ここで、類似度は、コサイン類似度、または、任意の他のＰＬＤＡモデル、例えば、生成的に訓練されたＰＬＤＡ、によって与えられるスコア、または、ＳＶＭなどの異なる分類器によって与えられるスコアであってよい。ここで、統計量は、平均値、分散値、などであってよい。一例の式を、段落［００２１］〜［００２３］に示す。特徴ベクトルと類似度統計量（例えば、ターゲットトライアル間のコサイン類似度の平均値とノンターゲットトライアル間のコサイン類似度の平均値）とのセットを用いて、教師なしＤＴ−ＰＬＤＡ訓練器１０５は、ＤＴ−ＰＬＤＡパラメータとラベル（「ターゲット」または「ノンターゲット」）とを推定する（そして第２の反復から更新する）。そして、それらはＤＴ−ＰＬＤＡパラメータ記憶装置１０６とラベル記憶装置１０３に格納される。この手順は、訓練が収束するまで、反復的になされる。評価部において、ＤＴ−ＰＬＤＡ分類器１０７は、訓練部において訓練されたＤＴ−ＰＬＤＡパラメータ、テストデータおよび登録データを受け、次いで、分類スコア（データが同じ話者からのものであることと異なる話者からのものであることの尤度比に関しての）と予め定められた閾値とを比較することによって、テストデータと登録データとが同じクラスからのものであるかを分類する。このスコアが閾値より大きければ、分類器は、「ターゲット」なる回答を与え、さもなければ、「ノンターゲット」を与える。
【００１７】
図２は、図１を用いて段落［００１５］〜［００１６］で説明した本発明の第１の実施形態の全体の動作フローチャートである。本実施形態は、図３において詳細に示される訓練部Ａ０１と、図４において詳細に示される評価部Ａ０２とを含む。
【００１８】
図３は、本発明の第１の実施形態のフローチャートである。これは、本実施形態の訓練部（Ａ０１）を示す。最初に、類似度計算器１０２は、記憶装置１０１からラベルなしデータを読み込み（Ｂ０１）、ラベルなしデータの組み合せ間の類似度を計算する（Ｂ０２）。第２に、統計量計算器１０４は、ラベル記憶装置１０３に格納されたラベルを読み込み（Ｂ０３）、「ターゲット」ラベルを持つデータの類似度の統計量と「ノンターゲット」ラベルを持つデータの類似度の統計量とを計算する（Ｂ０４）。次いで、上記のデータ、統計量および一時的なラベルを用いて、ＤＴ−ＰＬＤＡが、識別的訓練器１０５によって訓練される（Ｂ０５）。そして、ラベルなしデータ用の一時的なラベルが更新され（Ｂ０６）、ラベル記憶装置１０３に格納される。同時に、ＤＴ−ＰＬＤＡパラメータが更新され、ＤＴ−ＰＬＤＡパラメータ記憶装置１０６に格納される。この後、ある収束基準、例えば、最後の反復におけるパラメータからのパラメータの変化が予め定められたパーセンテージよりも小さいこと、を用いて、訓練が収束したかどうかがチェックされる（Ｂ０７）。収束の他の例は、ラベルの変化、目的関数値の変化、などであってもよい。収束した場合には、訓練手順は終了する。そうでなければ、ラベル記憶装置１０３内の新しいラベルに従って統計量が再び計算され（Ｂ０４）、新しい統計量を用いたＤＴ−ＰＬＤＡ訓練に続く（Ｂ０６）。
【００１９】
図４は、本発明の第１の実施形態の他のフローチャートである。これは、実施形態の評価部（Ａ０２）を示す。  最初に、ＤＴ−ＰＬＤＡ分類器１０７は、登録データを読み込み（Ｃ０１）、テストデータを読み込み（Ｃ０２）、さらにまた、ＤＴ−ＰＬＤＡパラメータ記憶装置１０６に格納されたＤＴ−ＰＬＤＡパラメータを読み込む（Ｃ０３）。Ｃ０１〜Ｃ０３の順番は入れ替えてもよく、図４に示された形には限定されないことに注意されたい。次いで、それは、「ターゲット」または「ノンターゲット」の回答を与える。
【００２０】
本発明は、高い類似度を持つデータは、同じクラスからのものである可能性が高く、その逆も同様であるとの前提に基づいている。このようなデータ統計量は、ＤＴ−ＰＬＤＡの教師なし訓練における目的関数に適用され、教師なし訓練が、オーバーフィッティングによって引き起こされる極端な解に到達しないように制限する。
【００２１】
目的関数ＬＬは、誤認識Ｌに対するコストを、データ統計量から得られる正則化項Ｄで最小化することを目的とする。
【数１】
0006781416.tif 000002
ここで、
【数２】
0006781416.tif 000003
は、ＤＴ−ＰＬＤＡパラメータを表し、ｗｉ、ｗｊは、訓練データの特徴ベクトルであり、ｅｉ，ｊは、仮定されたラベル（特徴ベクトルｗｉおよびｗｊのための「ターゲット」または「ノンターゲット」）であり、ラベルは、最後の反復におけるＤＴ−ＰＬＤＡに従って生成された。
【数３】
0006781416.tif 000004
は、予め定められた閾値であり、
【数４】
0006781416.tif 000005
は、ＤＴ−ＰＬＤＡモデル
【数５】
0006781416.tif 000006
によって与えられる、ｗｉおよびｗｊが同じ話者からのものらしいことの類似度スコア（尤度比）である。ｂは、目的関数における正則化項
【数６】
0006781416.tif 000007
の重みである。ｂを制御することによって、訓練においてどれだけの制約を与えるかを調整できる。例えば、ｂは、ラベルが十分に信頼できないとき、訓練の開始時に大きい値に設定され、そこで、訓練がデータ統計量により依存するようになり、訓練の更なる反復の後にはより小さくなる。あるいは、ｂを一定値に設定してもよい。
【００２２】
第１の実施形態の一例は、類似度計算器１０２において計算される類似度としてコサイン類似度を使用し、統計量計算器１０４において計算されるデータ統計量として平均値を使用している。ここでは、コサイン平均値が、反復訓練を抑制するために正則化において使用される。
【数７】
0006781416.tif 000008
ここで、
【数８】
0006781416.tif 000009
は、２つのベクトル
【数９】
0006781416.tif 000010
間のコサイン類似度であり、ｎ＋は、ラベル「ターゲット」を持つトライアルの数を表し、ｎ−は、ラベル「ノンターゲット」を持つトライアルの数を表す。正則化項は、同じ話者からのものであることのスコアが予め定められた閾値
【数１０】
0006781416.tif 000011
より大きいもののコサイン類似度を減算し、閾値より小さいスコアをもつもののコサイン類似度を加算する。我々の推定するところでは、同じクラスからのデータは、高い類似度を持ち、そのため、それらのコサイン類似度は大きく、異なるクラスからのデータは小さい類似度を持ち、そのため、それらのコサイン類似度は小さい。目的関数を最小化するために、ＤＴ−ＰＬＤＡモデルは、初期ラベルにしたがってできるだけ多くの正しいスコアリングを与えるのを可能とし、同時に、データ統計量によって抑制される。
【００２３】
最適化は、勾配に基づく一群の最適化方法、例えば、以前から知られている有限（Ｌ）−ＢＦＧＳアルゴリズム、によって解決することができる。Ｌ−ＢＦＧＳは、ヘッセ行列を計算することなしに、勾配を用いて非線形最適化問題を解決する。目的関数の勾配は、
【数１１】
0006781416.tif 000012
であり、ここで、
【数１２】
0006781416.tif 000013
は、行列の列を積み重ねて列ベクトルとし、
【数１３】
0006781416.tif 000014
【数１４】
0006781416.tif 000015
は、一対の特徴ベクトルのラベルであって、すなわち、２つの特徴ベクトルが同じクラスからのものであるならそれは１に等しく、そうでないならば、−１に等しい。
【数１５】
0006781416.tif 000016
は、要するに、
【数１６】
0006781416.tif 000017
である。
（第１の実施形態の効果）
【００２４】
上述したように、第１の実施形態によるパターン認識装置は、より正確なかつ信頼できるＤＴ−ＰＬＤＡパラメータを推定するのを支援できる。その理由は、大域的最適化を達成する単一の基準を使用して、データ統計量から導かれる正則化の制約のもとで、ラベルなしデータのラベルとＤＴ−ＰＬＤＡモデルとが、同時に推定されるからである。ＤＴ−ＰＬＤＡ訓練は、データ自体に直接依存している。そこで、ミスラベリングによる損害は、本発明において軽減される。
【００２５】
＜第２の実施形態＞
第１の実施形態において、ＤＴ−ＰＬＤＡは、完全にラベルなしのデータを用いて訓練される。しかしながら、応用のほとんどにおいて、ある程度のラベル付けされマッチされたデータが存在する。これらのデータは、通常、それら自体のみによってＤＴ−ＰＬＤＡモデルを訓練するには十分ではない。これらのデータは真のラベルを持つため、そのようなデータをラベルなしデータと共に訓練に含めることは、ラベルなしデータをラベル付けするのにおける信頼性と、ＤＴ−ＰＬＤＡパラメータ推定における精度を改善する。第２の実施形態において、存在するラベル付きデータを利用する半教師あり訓練を説明する。
【００２６】
図５は、本発明の第２の実施形態のブロック図を示す。図によれば、本実施形態は、類似度計算器２０２と、統計量計算器２０４と、識別的訓練器２０６と、ＤＴ−ＰＬＤＡ分類器２０８とを有する。
【００２７】
訓練部において、類似度計算器２０２は、先ず、ラベルなしデータ記憶装置２０１に格納されたデータの組み合せ間の類似度を計算する。次いで、ラベル記憶装置２０３に格納されたラベルなしデータのラベル集合（各組み合わせに対する「ターゲット」又は「ノンターゲット」のラベル）を用いて、統計量計算器２０４は、ラベルなしデータに対して、それぞれ、「ターゲット」および「ノンターゲット」ラベルを持つものの統計量を計算する。ここで、類似度は、コサイン類似度、または、任意の他のＰＬＤＡモデル、例えば、生成的に訓練されたＰＬＤＡ、によって与えられるスコア、または、ＳＶＭのような、異なる分類器によって与えられるスコアであってよい。ラベルなしデータの特徴ベクトルのセット、それらの類似度統計量、ラベル付きデータ記憶装置２０５に格納されたラベル付きデータの特徴ベクトル、およびそれらの真のラベルを用いて、ＤＴ−ＰＬＤＡ訓練器２０６は、ＤＴ−ＰＬＤＡパラメータとラベルなしデータに対するラベル（「ターゲット」または「ノンターゲット」）とを推定する（そして第２の反復から更新する）。そして、それらは、ＤＴ−ＰＬＤＡパラメータ記憶装置２０７およびラベル記憶装置２０３に格納される。ラベル付きデータのラベルは、変更されない。この手順は、訓練が収束するまで、反復してなされる。評価部において、ＤＴ−ＰＬＤＡ分類器２０８は、訓練部において訓練されたＤＴ−ＰＬＤＡパラメータと、テストデータおよび登録データを受け、次いで、第１の実施形態と同様の方法で、分類スコアと予め定められた閾値とを比較することによって、テストデータと登録データとが、同じクラスからであるかどうかを分類する。もしスコアが閾値より大きければ、分類器は、「ターゲット」なる回答を与え、さもなければ、「ノンターゲット」を与える。
【００２８】
図６は、図５を使用して段落［００２６］〜［００２７］で説明した本発明の第２の実施形態の全体の動作フローチャートである。これは、図７に詳細に示される訓練部Ｄ０１と、図４に詳細に示される評価部Ｄ０２とを含む。
【００２９】
図７は、本発明の第２の実施形態のフローチャートである。これは、本実施形態の訓練部（Ｄ０１）を示す。最初に、ＤＴ−ＰＬＤＡ訓練器２０６は、ラベル付きデータ記憶装置２０５に格納されたラベル付きデータを読み込み（Ｅ０１）、それらのラベルを読み込む（Ｅ０２）。第２に、類似度計算器２０２は、ラベルなしデータ記憶装置２０１からラベルなしデータを読み込み（Ｅ０３）、そしてラベルなしデータの組み合せ間の類似度を計算する（Ｅ０４）。その後、統計量計算器２０４は、ラベル記憶装置２０３に格納されたラベルを読み込み（Ｅ０５）、「ターゲット」ラベルを持つデータの類似度の統計量と、「ノンターゲット」ラベルを持つデータの類似度の統計量とを別々に計算する（Ｅ０６）。次いで、ラベル付きデータおよびラベルなしデータと、統計量、およびラベルなしデータの仮定されたラベルを用いて、半教師ありＤＴ−ＰＬＤＡが識別的訓練器２０６によって訓練される（Ｅ０７）。そして、ラベルなしデータのための仮定されたラベルは更新され（Ｅ０８）、ラベル記憶装置２０３に格納される。同時に、ＤＴ−ＰＬＤＡパラメータが更新され（Ｅ０６）、ＤＴ−ＰＬＤＡパラメータ記憶装置２０７に格納される。その後、ある収束基準（例えば、最後の反復におけるパラメータからのパラメータの変化が予め定められたパーセンテージより小さい）を用いることによって、訓練が収束したかをチェックする（Ｅ０９）。収束の他の例は、ラベルの変化、目的関数値の変化などであってよい。収束したなら、訓練手順は終了する。そうでなければ、ラベル記憶装置２０３内の新しいラベルに従って統計量が再び計算され（Ｅ０６）、新しい統計量を用いた半教師ありＤＴ−ＰＬＤＡ訓練に続く（Ｅ０７）。Ｅ０１〜Ｅ０２とＥ０３〜Ｅ０６の順番は入れ替えてもよく、図７に提示された形式に限定されないことに注意されたい。
【００３０】
評価部についての本発明の第２の実施形態のフローチャートは、第１の実施形態におけるものと同じである。それは、図４に示されている。
【００３１】
最後のポイントとして、ここに記述され図示されたプロセス、技術および方法は、特定の装置に制限されず、関連づけられないことが明らかである。それは、構成要素の組み合せを用いて実現され得る。また、種々の汎用装置を、ここでの説明に従って用いることができる。また、本発明を、特定の例のセットを使用して説明した。しかしながら、これらは単なる例示であって、限定的なものではない。例えば、記述したソフトウェアは、Ｃ／Ｃ＋＋、Ｊａｖａ（登録商標）、ＭＡＴＬＡＢ（登録商標）およびＰｙｔｈｏｎなどの多様な言語において実現することができる。さらに、本発明の技術の他の実現は、当業者には明らかであろう。
【図１】
0006781416.tif 000018
【図２】
0006781416.tif 000019
【図３】
0006781416.tif 000020
【図４】
0006781416.tif 000021
【図５】
0006781416.tif 000022
【図６】
0006781416.tif 000023
【図７】
0006781416.tif 000024
【図８】
0006781416.tif 000025