(57)【特許請求の範囲】
【請求項１】
特定の種別に関連する正例のデータであるか前記特定の種別に関連しない負例のデータであるかが与えられたラベルありサンプルと、前記正例のデータであるか前記負例のデータであるかが未知のラベルなしサンプルとからなる訓練データに基づいて、２値分類のためのスコア関数を学習する２値分類学習装置であって、
前記ラベルなしサンプルの各々について、正例のデータであるか否かを示す値を出力する関数を用いて表される評価値モデルと、正例のデータの生成確率モデルと、負例のデータの生成確率モデルとを用いて、前記ラベルなしサンプルが前記正例のデータであるか否かを示すスコア、及び前記ラベルなしサンプルが前記負例のデータであるか否かを示すスコアを計算するスコア計算部と、
前記スコア計算部によって計算された前記ラベルなしサンプルの各々についての前記正例のデータであるか否かを示すスコア及び前記負例のデータであるか否かを示すスコアと、前記ラベルありサンプルと、前記ラベルなしサンプルとに基づいて、前記評価値モデルを計算する評価値モデル計算部と、
前記スコア計算部によって計算された前記ラベルなしサンプルの各々についての前記正例のデータであるか否かを示すスコア及び前記負例のデータであるか否かを示すスコアと、前記ラベルありサンプルと、前記ラベルなしサンプルとに基づいて、前記正例のデータの生成確率モデル及び前記負例のデータの生成確率モデルを計算する生成確率モデル計算部と、
予め定められた収束判定条件を満たすまで、前記スコア計算部による計算、前記評価値モデル計算部による計算、及び前記生成確率モデル計算部による計算を繰り返させ、前記評価値モデルと前記生成確率モデルとを用いた前記スコア関数を出力する収束判定部と、
を含む２値分類学習装置。
【請求項２】
前記評価値モデルの関数は、前記データから抽出される特徴ベクトルに関する線形関数であり、
前記評価値モデル計算部は、前記評価値モデルに対して、シグモイド関数を用いて近似した、ＡＵＣ（Ａｒｅａ Ｕｎｄｅｒ ｔｈｅ Ｃｕｒｖｅ）値を最大化するように、前記評価値モデルを計算する請求項１記載の２値分類学習装置。
【請求項３】
前記正例のデータの生成確率モデルは、前記正例のデータの確率分布を、ナイーブべイズモデルを用いてモデル化したものであり、
前記負例のデータの生成確率モデルは、前記負例のデータの確率分布を、ナイーブべイズモデルを用いてモデル化したものであり、
前記生成確率モデル計算部は、前記正例のデータの生成確率モデル及び前記負例のデータの生成確率モデルを用いて求められる、前記ラベルありサンプルの対数尤度及び前記ラベルなしサンプルの期待対数尤度の和を最大化するように、前記正例のデータの生成確率モデル及び前記負例のデータの生成確率モデルを計算する請求項１又は２記載の２値分類学習装置。
【請求項４】
前記スコア計算部は、前記ラベルなしサンプルの各々について、前記スコアが与える確率値のエントロピー正則化項を考慮して、前記スコアを計算し、
前記評価値モデル計算部は、前記評価値モデルのモデルパラメータの正則化項を考慮して、前記評価値モデルを計算し、
前記生成確率モデル計算部は、前記生成確率モデルのモデルパラメータの正則化項を考慮して、前記正例のデータの生成確率モデル及び前記負例のデータの生成確率モデルを計算する請求項１〜請求項３の何れか１項記載の２値分類学習装置。
【請求項５】
入力されたテストデータと、請求項１〜請求項４の何れか１項記載の２値分類学習装置によって学習されたスコア関数とに基づいて、前記テストデータが正例であることを示すスコア値を算出するスコア算出部
を含む２値分類装置。
【請求項６】
スコア計算部と、評価値モデル計算部と、生成確率モデル計算部と、収束判定部とを含み、特定の種別に関連する正例のデータであるか前記特定の種別に関連しない負例のデータであるかが与えられたラベルありサンプルと、前記正例のデータであるか前記負例のデータであるかが未知のラベルなしサンプルとからなる訓練データに基づいて、２値分類のためのスコア関数を学習する２値分類学習装置における２値分類学習方法であって、
前記スコア計算部が、前記ラベルなしサンプルの各々について、正例のデータであるか否かを示す値を出力する関数を用いて表される評価値モデルと、正例のデータの生成確率モデルと、負例のデータの生成確率モデルとを用いて、前記ラベルなしサンプルが前記正例のデータであるか否かを示すスコア、及び前記ラベルなしサンプルが前記負例のデータであるか否かを示すスコアを計算し、
前記評価値モデル計算部が、前記スコア計算部によって計算された前記ラベルなしサンプルの各々についての前記正例のデータであるか否かを示すスコア及び前記負例のデータであるか否かを示すスコアと、前記ラベルありサンプルと、前記ラベルなしサンプルとに基づいて、前記評価値モデルを計算し、
前記生成確率モデル計算部が、前記スコア計算部によって計算された前記ラベルなしサンプルの各々についての前記正例のデータであるか否かを示すスコア及び前記負例のデータであるか否かを示すスコアと、前記ラベルありサンプルと、前記ラベルなしサンプルとに基づいて、前記正例のデータの生成確率モデル及び前記負例のデータの生成確率モデルを計算し、
前記収束判定部が、予め定められた収束判定条件を満たすまで、前記スコア計算部による計算、前記評価値モデル計算部による計算、及び前記生成確率モデル計算部による計算を繰り返させ、前記評価値モデルと前記生成確率モデルとを用いた前記スコア関数を出力する
２値分類学習方法。
【請求項７】
スコア算出部を含む２値分類装置における２値分類方法であって、
前記スコア算出部が、入力されたテストデータと、請求項６記載の２値分類学習方法によって学習されたスコア関数とに基づいて、前記テストデータが正例であることを示すスコア値を算出する
２値分類方法。
【請求項８】
コンピュータを、請求項１〜請求項４の何れか１項に記載の２値分類学習装置、又は請求項５記載の２値分類装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２値分類のための２値分類学習装置、２値分類装置、方法、及びプログラムに関するものである。
【背景技術】
【０００２】
統計的手法に基づくコンテンツの２値分類技術では、コンテンツとカテゴリの依存関係の強さを表すスコア関数を、モデルパラメータと特徴ベクトルの関数として与え、ある特定の種別に関する度合を、スコア関数をもとに推定することでコンテンツの２値分類を行う。モデルパラメータの値は、一般的に、当該の種別に関連するか否かが判明しているコンテンツ(以下、ラベルありサンプル)を用いて求める。この枠組に基づく手法では、モデルパラメータ値の計算に用いるラベルありサンプルの量を増やすことで、新規コンテンツの２値分類の精度を向上させることができる。しかし、ラベルありサンプルを得るには、人手でコンテンツを分類する必要があるため、大量のラベルありサンプルを準備することは容易ではない。そこで、当該の種別に関連するか否かが判明していないコンテンツ(以下、ラベルなしサンプル)を大量に集め、それらのラベルなしサンプルをモデルパラメータの計算に利用することで、ラベルありサンプルに含まれない特徴量の学習不足を補い、ラベルありサンプルのみを利用する場合と比べて２値分類の精度を向上させる半教師あり学習技術がある。
【０００３】
非特許文献１の技術では、２値分類の精度を表すのに一般によく用いられるAUC値が最大になるようにマージン最大化学習に基づいてスコア関数のパラメータ値を計算することを特徴とする。AUC(Area Under the Curve) は受信者応答特性(Receiver Operating Characteristic) 曲線に基づく評価指標であり、AUC値が大きいほど、正例から負例の順にコンテンツが正しくスコアで順位付けされていることを示す。この技術では、当該の種別に関連するコンテンツ(以下、正例)のスコア値から当該の種別に関連しないコンテンツ(以下、負例) のスコア値を引いた差が一定のマージン値以上になるようにスコア関数のパラメータ値を学習する。このパラメータ学習では、すべての正例と負例の組合せに対する差が考慮される。また、ラベルなしサンプルが正例、負例のどちらかであるかを予測し、予測結果が負例の場合は正例の各ラベルありサンプルのスコア値からラベルなしサンプルのスコア値を引いた差が一定のマージン以上になるように学習し、予測結果が正例の場合はラベルなしサンプルのスコア値から負例のラベルありサンプルのスコア値を引いた差が一定のマージン以上になるように学習する。
【０００４】
非特許文献２、特許文献１の技術では、スポーツ、音楽、科学、経済などといった複数のカテゴリのいずれか１つに各コンテンツを分類する問題に対して、分類に用いる識別関数をラベルありサンプルとラベルなしサンプルとから学習し、識別関数を、各カテゴリにおけるコンテンツの生成確率モデルと、コンテンツに対するカテゴリの条件付確率モデル(識別的確率モデル) との重み付き統合で与えることを特徴とする。非特許文献３で述べられているように、一般に、生成確率モデルはラベルなしサンプルの分布を学習するのに有効なモデルであるのに対して、識別的確率モデルはラベルありサンプルを正しく分類するのに有効であることが知られている。非特許文献２、特許文献１の技術では、両モデルを適切に組み合わせることによって、識別関数の学習にラベルありサンプルとラベルなしサンプルの統計情報を効果的に利用し、新規サンプルの分類精度を向上させる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５３０８３６０号公報
【非特許文献】
【０００６】
【非特許文献１】Shijun Wang, Diana Li, Nicholas Petrick, Berkman Sahiner, Marius George Linguraru, and Ronald M. Summers: Optimizing area under the ROC curve using semi-supervised learning. Pattern Recognition, Elsevier 48 276−287 (2015).
【非特許文献２】A. Fujino, N. Ueda, and M. Nagata: Adaptive semi-supervised learning on labeled and unlabeled data with different distributions. Knowledge and Information Systems (KAIS), Springer, 37 (1), 129−154 (2013).
【非特許文献３】M. Seeger: Learning with labeled and unlabeled data. Technical report, University of Edinburgh (2001).
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１の技術では、ラベルありサンプルによる教師あり学習でよく用いられるマージン最大化学習を拡張してラベルなしサンプルもスコア関数の学習に利用している。しかし、非特許文献３で述べられているように、一般に、ラベルなしサンプルの分布を学習するのに生成確率モデルが有効であることが知られており、学習に生成確率モデルを利用することで高い分類精度を与えるスコア関数を得られる可能性がある。非特許文献２、特許文献１の技術は、各コンテンツに対して複数のカテゴリ候補の中から適切なカテゴリを正確に予測することを目的とした技術であって、カテゴリ予測の正解率を高めるように識別関数のパラメータを学習する。しかし、本発明で対象とする２値分類問題では、ある特定の種別に関連するコンテンツ(正例)の数は、関連しないコンテンツ(負例)の数と比べて非常に少ないことが多い。このような場合、すべて負例と判定する識別関数を学習すれば100%に近いカテゴリ予測の正解率を得られるが、正例を正しく抽出できるとは限らない。したがって、正例と負例の数の差が大きい２値分類の問題に非特許文献２、特許文献１の技術をそのまま適用しても、正例と負例を高い精度で分類できる保証はない。正例と負例の数の差が大きい２値分類の問題に対して、ラベルなしサンプルを効果的に学習に用いて、高い分類精度を与えるスコア関数を得ることが課題である。
【０００８】
本発明では、上記事情を鑑みて成されたものであり、正例と負例の数の差が大きい場合であっても、精度よく２値分類をすることができるスコア関数を学習することができる２値分類学習装置、方法、及びプログラムを提供することを目的とする。
【０００９】
また、精度よく２値分類をすることができる２値分類装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る２値分類学習装置は、特定の種別に関連する正例のデータであるか前記特定の種別に関連しない負例のデータであるかが与えられたラベルありサンプルと、前記正例のデータであるか負例のデータであるかが未知のラベルなしサンプルとからなる訓練データに基づいて、２値分類のためのスコア関数を学習する２値分類学習装置であって、前記ラベルなしサンプルの各々について、正例のデータであるか否かを示す値を出力する関数を用いて表される評価値モデルと、正例のデータの生成確率モデルと、負例のデータの生成確率モデルとを用いて、前記ラベルなしサンプルが前記正例のデータであるか否かを示すスコアを計算するスコア計算部と、前記スコア計算部によって計算された前記ラベルなしサンプルの各々についての前記スコアと、前記ラベルありサンプルと、前記ラベルなしサンプルとに基づいて、前記評価値モデルを計算する評価値モデル計算部と、前記スコア計算部によって計算された前記ラベルなしサンプルの各々についての前記スコアと、前記ラベルありサンプルと、前記ラベルなしサンプルとに基づいて、前記正例のデータの生成確率モデル及び前記負例のデータの生成確率モデルを計算する生成確率モデル計算部と、予め定められた収束判定条件を満たすまで、前記スコア計算部による計算、前記評価値モデル計算部による計算、及び前記生成確率モデル計算部による計算を繰り返させ、前記評価値モデルと前記生成確率モデルとを用いた前記スコア関数を出力する収束判定部と、を含んで構成されている。
【００１１】
本発明に係る２値分類学習方法は、スコア計算部と、評価値モデル計算部と、生成確率モデル計算部と、収束判定部とを含み、特定の種別に関連する正例のデータであるか前記特定の種別に関連しない負例のデータであるかが与えられたラベルありサンプルと、前記正例のデータであるか負例のデータであるかが未知のラベルなしサンプルとからなる訓練データに基づいて、２値分類のためのスコア関数を学習する２値分類学習装置における２値分類学習方法であって、前記スコア計算部が、前記ラベルなしサンプルの各々について、正例のデータであるか否かを示す値を出力する関数を用いて表される評価値モデルと、正例のデータの生成確率モデルと、負例のデータの生成確率モデルとを用いて、前記ラベルなしサンプルが前記正例のデータであるか否かを示すスコアを計算し、前記評価値モデル計算部が、前記スコア計算部によって計算された前記ラベルなしサンプルの各々についての前記スコアと、前記ラベルありサンプルと、前記ラベルなしサンプルとに基づいて、前記評価値モデルを計算し、前記生成確率モデル計算部が、前記スコア計算部によって計算された前記ラベルなしサンプルの各々についての前記スコアと、前記ラベルありサンプルと、前記ラベルなしサンプルとに基づいて、前記正例のデータの生成確率モデル及び前記負例のデータの生成確率モデルを計算し、前記収束判定部が、予め定められた収束判定条件を満たすまで、前記スコア計算部による計算、前記評価値モデル計算部による計算、及び前記生成確率モデル計算部による計算を繰り返させ、前記評価値モデルと前記生成確率モデルとを用いた前記スコア関数を出力する。
【００１２】
本発明に係る２値分類装置は、入力されたテストデータと、上記の２値分類学習装置によって学習されたスコア関数とに基づいて、前記テストデータが正例であることを示すスコア値を算出するスコア算出部を含んで構成されている。
【００１３】
本発明に係る２値分類方法は、スコア算出部を含む２値分類装置における２値分類方法であって、前記スコア算出部が、入力されたテストデータと、上記の２値分類学習方法によって学習されたスコア関数とに基づいて、前記テストデータが正例であることを示すスコア値を算出する。
【００１４】
また、本発明のプログラムは、コンピュータを、上記の２値分類学習装置又は２値分類装置を構成する各部として機能させるためのプログラムである。
【発明の効果】
【００１５】
以上説明したように、本発明の２値分類学習装置、方法、及びプログラムによれば、前記ラベルなしサンプルの各々について、評価値モデルと、正例のデータの生成確率モデルと、負例のデータの生成確率モデルとを用いて、前記ラベルなしサンプルが前記正例のデータであるか否かを示すスコアを計算し、前記ラベルなしサンプルの各々についての前記スコアと、前記ラベルありサンプルと、前記ラベルなしサンプルとに基づいて、前記評価値モデルを計算し、前記正例のデータの生成確率モデル及び前記負例のデータの生成確率モデルを計算することを繰り返すことにより、正例と負例の数の差が大きい場合であっても、精度よく２値分類をすることができるスコア関数を学習することができる。
【００１６】
また、本発明の２値分類装置、方法、及びプログラムによれば、精度よく２値分類をすることができる。
【図面の簡単な説明】
【００１７】
【図１】本実施形態に係る２値分類装置の機能的構成を示すブロック図である。
【図２】本実施形態に係る２値分類装置のスコア関数生成部の機能的構成を示すブロック図である。
【図３】本実施形態に係る２値分類装置における２値分類学習処理ルーチンのフローチャート図である。
【図４】本実施形態に係る２値分類装置における２値分類処理ルーチンのフローチャート図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１９】
＜本発明の実施形態の概要＞
まず、本実施形態の概要について説明する。
【００２０】
本実施形態に係る２値分類装置においては、データベースに含まれる論文、特許等の文書、オンラインニュースデータ、電子メール等のテキスト情報から成るコンテンツや、Webデータ、blogデータ等のテキスト情報とリンク情報から成るコンテンツ、あるいは画像データ等のコンテンツ、といった特徴ベクトルにより表現することが可能なコンテンツの集合の中から、例えばスポーツ、音楽、科学、経済などといった特定の種別に関連するコンテンツを抽出する際に、当該特定の種別に関連するか否かが判明しているコンテンツと、関連するか否かが不明のコンテンツとの統計情報を用いてコンテンツの特徴ベクトルを入力とし、特定の種別に関する度合を表すスコア値を出力とする２値分類器を学習し、２値分類器を用いてコンテンツを２値分類する。
【００２１】
また、本実施形態に係る２値分類装置では、ＡＵＣ値を最大化させるようにパラメータを学習させる評価値モデルと、生成確率モデルとの重み付き統合でスコア関数を与え、両モデルのパラメータを、ラベルありサンプルとラベルなしサンプル双方の統計情報を同時に用いて計算することで得る。スコア関数とパラメータ値は、評価値モデルの対数の期待値と、生成確率モデルの期待対数尤度と、スコア関数が与える確率値のエントロピー正則化項と、評価値モデルと生成確率モデルの各モデルパラメータの正則化項と、の重み付き最大化に基づいて与えられる。
【００２２】
＜本発明の第１の実施の形態に係る２値分類装置の構成＞
次に、本発明の第１の実施の形態に係る２値分類装置の構成について説明する。図１に示すように、本実施の形態に係る２値分類装置１００は、ＣＰＵと、ＲＡＭと、後述する２値分類学習処理ルーチン及び２値分類処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この２値分類装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部９０とを含んで構成されている。
【００２３】
入力部１０は、２値分類対象となるコンテンツと同様の形式をもつコンテンツの例を集めて生成された訓練データ集合を受け付ける。
【００２４】
例えば、Web記事の２値分類を行う場合は、Web記事の例と、その例が特定の種別(音楽、スポーツ、ビジネスなど)に関連するか否かを表すクラスとを記録した訓練データを用いる。クラスには、当該特定の種別に関連することを表す正例(+)と、当該特定の種別に関連しないことを表す負例(−)の２種類がある。コンテンツの例ごとに正例または負例のいずれか一方がクラスとして付与される。
【００２５】
また、訓練データ集合は、コンテンツ本体と、上記のように付与されたクラスの対から成るラベルありサンプルと、クラスが不明なコンテンツ本体からなるラベルなしサンプルとを含む。
【００２６】
また、入力部１０は、２値分類対象となるコンテンツであるテストデータ集合を受け付ける。
【００２７】
演算部２０は、訓練データデータベース２２と、スコア関数生成部２４と、テストデータデータベース２６と、順位付け部２８とを含んで構成されている。なお、スコア関数生成部２４が、２値分類学習装置の一例である。
【００２８】
訓練データデータベース２２には、入力部１０において受け付けた訓練データ集合が記憶されている。
【００２９】
スコア関数生成部２４は、訓練データデータベース２２に記憶されている訓練データ集合に基づいて、２値分類のためのスコア関数を生成する。
【００３０】
スコア関数生成部２４は、図２に示すように、初期化部３０、スコア計算部３２、評価値モデル計算部３４、生成確率モデル計算部３６、収束判定部３８、及びスコア関数記憶部４０を含んでいる。
【００３１】
以下、スコア関数を生成する原理について説明する。
【００３２】
まず、ｘはコンテンツの特徴ベクトルを表す。ω∈｛＋,−｝は、正例(+)、負例(−) のいずれか一方を値とするクラスを表す。また、評価値モデルをＦ(ｘ;Ｗ)と表し、生成確率モデルをｐ(ｘ;θω)と表し、スコア関数のパラメータを、
【００３３】
【数１】
0006482481.tif 000002
【００３４】
と表す。また、訓練データデータベース２２に保存されているラベルありサンプルの正例集合を、
【００３５】
【数２】
0006482481.tif 000003
【００３６】
と表し、ラベルありサンプルの負例集合を、
【００３７】
【数３】
0006482481.tif 000004
【００３８】
と表し、ラベルなしサンプル集合を、
【００３９】
【数４】
0006482481.tif 000005
【００４０】
と表す。
【００４１】
本実施の形態では、評価値モデルに線形関数を、生成確率モデルにNaive Bayesモデル(以下、NBモデル)を用いる場合を例に説明する。
【００４２】
コンテンツに含まれる単語や画素、リンク、あるいはそれらの組み合わせ等により構成される特徴量空間を
【００４３】
【数５】
0006482481.tif 000006
【００４４】
とするとき、コンテンツの特徴ベクトルｘは、コンテンツに含まれるｔvの頻度ｘvをもとに
【００４５】
【数６】
0006482481.tif 000007
【００４６】
で表現される。Ｖはコンテンツに含まれる可能性がある特徴の種類の数を表す。例えば、コンテンツがテキストデータである場合、Ｖはコンテンツに出現する可能性がある語彙の総数を表す。ＡTは、行列(ベクトル)Ａの転置を表す。
【００４７】
評価値モデルでは、コンテンツの特徴ベクトルに対して正例である場合に大きなスカラ値を出力する関数ｆ(ｘ;Ｗ)を設計する。ラベルありサンプルの正例集合
【００４８】
【数７】
0006482481.tif 000008
【００４９】
と、負例集合
【００５０】
【数８】
0006482481.tif 000009
【００５１】
に評価値モデルを適用する場合、２値分類の精度を表すＡＵＣ値は、以下の式で算出できる。
【００５２】
【数９】
0006482481.tif 000010
【００５３】
ただし、
【００５４】
【数１０】
0006482481.tif 000011
【００５５】
は、
【００５６】
【数１１】
0006482481.tif 000012
【００５７】
の場合に１を、それ以外の場合に０を出力するステップ関数である。ラベルありデータ集合Ｄ+、Ｄ−だけから評価値モデルを学習させる場合は、ＡＵＣを最大化させるＷを求める最適化問題を解いてやればよい。しかし、ステップ関数
【００５８】
【数１２】
0006482481.tif 000013
【００５９】
は微分不可能な関数であり、上記の最適化問題を解くのは容易ではない。そこで、上記の最適化問題を、ステップ関数
【００６０】
【数１３】
0006482481.tif 000014
【００６１】
をシグモイド関数
【００６２】
【数１４】
0006482481.tif 000015
【００６３】
を用いて近似した以下の目的関数を最大化させるＷを求める問題に置き換えることで、評価値モデルの学習を容易に行うことができる。
【００６４】
【数１５】
0006482481.tif 000016
【００６５】
式(3)中のＲ（Ｗ）は、評価値モデルのパラメータＷに関する正則化項であり、Ｃは正則化項の重みを与えるハイパーパラメータである。正則化項は、ラベルありサンプル集合に対して過剰にモデルが適合することで新規サンプルに対する予測精度を低下させる過学習を抑制するためによく用いられる。
【００６６】
本実施の形態では、ラベルなしサンプル集合
【００６７】
【数１６】
0006482481.tif 000017
【００６８】
をラベルありサンプルとともに用いてスコア関数のパラメータを学習する。ラベルなしサンプルｘmが正例である確率Ｐ(＋|ｘm)と、ラベルなしサンプルｘmが負例である確率Ｐ(−|ｘm)が与えられる場合、例えば、以下の目的関数を最大化させるＷを評価値モデルのパラメータ推定値として計算できる。
【００６９】
【数１７】
0006482481.tif 000018
【００７０】
式(4)中の
【００７１】
【数１８】
0006482481.tif 000019
【００７２】
は、ラベルなしサンプルｘmがラベルありサンプルの負例集合Ｄ-に含まれるすべてのサンプルｘ-jに対して、
【００７３】
【数１９】
0006482481.tif 000020
【００７４】
の場合に最大値１になり、
【００７５】
【数２０】
0006482481.tif 000021
【００７６】
の場合に最小値０になる。目的関数に
【００７７】
【数２１】
0006482481.tif 000022
【００７８】
を導入するのは、ラベルなしサンプルｘmが正例であると予測される場合に、
【００７９】
【数２２】
0006482481.tif 000023
【００８０】
となるようにパラメータＷを学習するためである。同様に、
【００８１】
【数２３】
0006482481.tif 000024
【００８２】
を導入するのは、ラベルなしサンプルｘmが負例であると予測される場合に、ラベルありサンプルの正例集合Ｄ+に対して、
【００８３】
【数２４】
0006482481.tif 000025
【００８４】
となるようにパラメータＷを学習するためである。
【００８５】
式(4)中のＲ(Ｐm)は、Ｐ(+|ｘm)とＰ(−|ｘm)に関するエントロピー正則化項であり、例えば、
【００８６】
【数２５】
0006482481.tif 000026
【００８７】
を用いることができる。γは正則化項Ｒ(Ｐm)の重みを与えるハイパーパラメータである。制約
【００８８】
【数２６】
0006482481.tif 000027
【００８９】
の下でラグランジュ未定乗数法を用いることで、Ｊ(Ｗ,Ｐ)を最大化させるＷとＰ(ω|ｘm)、ω∈ {+,−}, ∀mを得られる。
【００９０】
しかし、式(4)のＪ(Ｗ,Ｐ)に基づく学習では、ラベルありサンプルの正例、負例の情報のみに基づいてラベルなしサンプルのクラスを予測してパラメータ値を学習することになるため、ラベルなしサンプルを学習に用いる効果が小さい。本実施の形態では、文書や画像といったコンテンツの種類に応じて生成確率モデルで仮定されるコンテンツの分布特性を事前知識として用いることで、ラベルなしサンプルを学習に用いる効果を高める。正例のコンテンツの生成確率モデルｐ(ｘ;θ＋)と、負例のコンテンツの生成確率モデルｐ(ｘ; θ−)とを導入し、評価値モデルのパラメータＷと、生成確率モデルのパラメータΘ = [θ＋ θ−]と、ラベルなしサンプルのクラス確率Ｐ(ω|ｘm),ω ∈ {+,−}, ∀mと、を以下の目的関数を最大化させるように学習させる。
【００９１】
【数２７】
0006482481.tif 000028
0006482481.tif 000029
【００９２】
式(6)中のｐ(Θ)は、生成確率モデルのパラメータΘの事前確率分布を表し、Θの過学習を抑制するための正則化項である。βは生成確率モデルの学習への寄与度を与えるハイパーパラメータである。
【００９３】
制約
【００９４】
【数２８】
0006482481.tif 000030
【００９５】
の下でラグランジュ未定乗数法を用いると、式(6)のＪ(Ｗ,Θ,Ｐ)を最大化させるＰ(ω|ｘm), ω ∈ {+,−}, ∀mの解＾Ｐ(ω|ｘm;Ｗ,Θ)の解
【００９６】
【数２９】
0006482481.tif 000031
【００９７】
が得られる。ただし、
【００９８】
【数３０】
0006482481.tif 000032
【００９９】
である。本実施の形態では、式(7)で与えられるｘについての関数＾Ｐ(+|ｘ;Ｗ,Θ)をコンテンツが正例であるか否かを判定するためのスコア関数とする。
【０１００】
式(7)を式(6)に代入すると、ＷとΘに関する目的関数
【０１０１】
【数３１】
0006482481.tif 000033
【０１０２】
が得られる。
【０１０３】
式(10)で与えられる目的関数＾Ｊ(Ｗ,Θ)を最大化させるＷとΘは、例えば、
【０１０４】
【数３２】
0006482481.tif 000034
【０１０５】
を満たす以下のＱ1(Ｗ,Θ,Ｗ(t),Θ(t))を最大化させるＷとΘを繰り返し計算することで、ＷとΘの初期値周辺で＾Ｊ(Ｗ,Θ) を最大化させる局所最適解を得ることができる。
【０１０６】
【数３３】
0006482481.tif 000035
ただし、
0006482481.tif 000036
0006482481.tif 000037
【０１０７】
である。(t + 1)ステップの推定値を
【０１０８】
【数３４】
0006482481.tif 000038
【０１０９】
のように計算することで、＾Ｊ(Ｗ,Θ)を単調に増加させるＷとΘの推定値を得ることができる。式(14)の解は、以下のようにＷ(t+1)とΘ(t+1)を独立に計算することで得られる。
【０１１０】
【数３５】
0006482481.tif 000039
【０１１１】
評価値モデルで用いる関数ｆ(ｘ,Ｗ)を、コンテンツの特徴ベクトルｘと同次元のパラメータベクトルｗを用いて
【０１１２】
【数３６】
0006482481.tif 000040
【０１１３】
のように線形関数で設計し、Ｗの正則化項Ｒ(Ｗ)として
【０１１４】
【数３７】
0006482481.tif 000041
【０１１５】
を用いる場合、式(15)の解Ｗ(t+1)＝ｗ(t+1)として、
【０１１６】
【数３８】
0006482481.tif 000042
【０１１７】
を満たす以下のＱ2(ｘ,ｘ(u))を最大化させるｗを繰り返し計算することで、初期値ｗ(t)の周辺でＪ(t)s(ｗ)を最大化させるｗを求めてもよい。
【０１１８】
【数３９】
0006482481.tif 000043
【０１１９】
(u + 1)ステップの推定値を
【０１２０】
【数４０】
0006482481.tif 000044
【０１２１】
のように計算することで、J(t)s(ｗ)を単調に増加させるｗの推定値を得ることができる。式(20)によるパラメータ推定で得られるｗの推定値＾ｗは
【０１２２】
【数４１】
0006482481.tif 000045
【０１２３】
を満たすので、式(11)で示したＱ1(Ｗ,Θ,Ｗ(t),Θ(t))の値はＷがｗ(t)の場合よりも＾ｗの場合で大きくなる。したがって、式(14)の(t + 1) ステップで式(20)による繰り返し計算でｗの推定値を求めることで、＾Ｊ(Ｗ,Θ) を単調増加させるＷ(t+1)＝ｗ(t+1) が得られる。
【０１２４】
Ｑ2(ｗ,ｗ(u))はｗに関する凹関数であるため、式(20)を満たすｗ(u+1)の大域最適解を求めることができる。式(20)の解ｗ(u+1)は、例えば、準ニュートン法の一種であるBFGSアルゴリズム（非特許文献４参照）を用いて算出できる。
【０１２５】
非特許文献４：D. C. Liu and J. Nocedal: On the limited memory BFGS method for large scale optimization, Math. Programming, Ser. B, Vol. 45, No. 3, pp. 503−528 (1989).
【０１２６】
NBモデルを用いて生成確率モデルを設計する場合、正例のコンテンツの生成確率モデルｐ(ｘ; θ＋)と、負例のコンテンツの生成確率モデルｐ(ｘ; θ−)は、
【０１２７】
【数４２】
0006482481.tif 000046
【０１２８】
で定義される。ここで、
【０１２９】
【数４３】
0006482481.tif 000047
【０１３０】
であり、
【０１３１】
【数４４】
0006482481.tif 000048
【０１３２】
である。また、ディリクレ分布を用いて、Θ の事前確率分布を
【０１３３】
【数４５】
0006482481.tif 000049
【０１３４】
のように設計する。ξ(＞０)はハイパーパラメータである。このように、NBモデルを用いて生成確率モデルを設計する場合、式(16) を満たす解は、
【０１３５】
【数４６】
0006482481.tif 000050
【０１３６】
で計算できる。
【０１３７】
(t+1)学習ステップにおけるスコア関数のパラメータ推定値Ｗ(t+1)、Θ(t+1)の計算後、例えば以下の式で与える収束条件を満たすかどうかを確認する。
【０１３８】
【数４７】
0006482481.tif 000051
【０１３９】
式(25)中の||Ｗ(t)||、||Θ(t)||は行列Ｗ(t)、Θ(t)のフロベニウスノルムを表す。εは設計者が与える微小な値である。収束条件を満たす場合はW(t+1), Θ(t+1) をスコア関数のパラメータ値＾Ｗ、＾Θとしてスコア関数記憶部４０に格納する。収束条件を満たさない場合は、t ← t + 1として、上記の処理を繰り返す．
【０１４０】
以上説明した原理に従って、スコア関数生成部２４の初期化部３０は、評価値モデルのパラメータＷ、生成確率モデルのパラメータΘに初期値を設定する。
【０１４１】
スコア計算部３２は、ラベルなしサンプルｘmの各々について、初期化部３０で初期値が設定され、又は評価値モデル計算部３４によって前回計算された評価値モデルのパラメータＷと、初期化部３０で初期値が設定され、又は生成確率モデル計算部３６によって前回計算された生成確率モデルのパラメータΘとを用いて、確率値のエントロピー正則化項Ｒ（Ｐm）を考慮した上記式（７）に従って、ラベルなしサンプルｘmが正例のデータである確率値＾Ｐ(＋|ｘm;Ｗ,Θ)、及び負例である確率値＾Ｐ(−|ｘm;Ｗ,Θ)を計算する。
【０１４２】
評価値モデル計算部３４は、スコア計算部３２によって計算されたラベルなしサンプルｘmの各々についての確率値＾Ｐ(＋|ｘm;Ｗ,Θ)、＾Ｐ(−|ｘm;Ｗ,Θ)と、ラベルありサンプルｘ+i,ｘ-jと、ラベルなしサンプルｘmとに基づいて、評価値モデルのモデルパラメータの正則化項Ｒ（Ｗ）を考慮した上記式（１９）、式（２０）に従って、評価値モデルＦ(ｘ;Ｗ)に対して、シグモイド関数を用いて近似した、ＡＵＣ（Ａｒｅａ Ｕｎｄｅｒ ｔｈｅ Ｃｕｒｖｅ）値を最大化するように、評価値モデルのパラメータＷを計算する。
【０１４３】
生成確率モデル計算部３６は、スコア計算部３２によって計算されたラベルなしサンプルｘmの各々についての確率値＾Ｐ(＋|ｘm;Ｗ,Θ)、＾Ｐ(−|ｘm;Ｗ,Θ)と、ラベルありサンプルｘ+i,ｘ-jと、ラベルなしサンプルｘmとに基づいて、生成確率モデルのモデルパラメータの正則化項ｐ（Θ）を考慮した上記式（２３）、式（２４）に従って、正例のデータの生成確率モデルｐ(ｘ;θ＋)及び負例のデータの生成確率モデルｐ(ｘ;θ−)を用いて求められる、ラベルありサンプルの対数尤度及びラベルなしサンプルの期待対数尤度の和を最大化するように、正例のデータの生成確率モデルのパラメータθ＋,v及び負例のデータの生成確率モデルのパラメータθ−,vを計算する。
【０１４４】
収束判定部３８は、上記式（２５）に示す収束判定条件を満たすまで、スコア計算部３２による計算、評価値モデル計算部３４による計算、及び生成確率モデル計算部３６による計算を繰り返させ、スコア関数で用いる評価値モデルのパラメータの推定値＾Ｗ及び生成確率モデルのパラメータの推定値＾Θを、スコア関数記憶部４０に格納する。
【０１４５】
テストデータデータベース２６には、入力部１０において受け付けたテストデータ集合
【０１４６】
【数４８】
0006482481.tif 000052
【０１４７】
が記憶されている。
【０１４８】
順位付け部２８は、テストデータデータベース２６に記憶されているテストデータ集合Ｄpに含まれるテストデータｘzの各々について、スコア関数記憶部４０に記憶されているスコア関数で用いる評価値モデルのパラメータＷ及び生成確率モデルのパラメータΘに基づいて、上記式（７）に従って、テストデータｘzが正例であることを示すスコア値として、確率値＾Ｐ(＋|ｘz;Ｗ,Θ)を算出し、スコア値が大きい順にテストデータｘzを並べ替えて、得られたスコア値とテストデータの順序を２値分類結果として出力部９０により出力する。なお、スコア値に閾値を設け、閾値以上のスコア値が得られたテストデータのみを正例として出力してもよい。
【０１４９】
＜本発明の第１の実施形態に係る２値分類装置の作用＞
次に、本発明の第１の実施形態に係る２値分類装置１００の作用について説明する。２値分類装置１００は、入力部１０によって、訓練データ集合を受け付け訓練データデータベース２２に記憶し、テストデータ集合を受け付けテストデータデータベース２６に記憶すると、２値分類装置１００によって、図３に示す２値分類学習処理ルーチンが実行される。
【０１５０】
まず、ステップＳ１０１で、訓練データデータベース２２に記憶されている訓練データ集合に含まれる、ラベルありサンプルの正例集合Ｄ+及びラベルありサンプルの負例集合Ｄ-と、ラベルなしサンプル集合Ｄuとを読み込む。ここで、ｉは正例集合に含まれるラベルありサンプルのID番号を表し、ｊは負例集合に含まれるラベルありサンプルのID 番号を表し、ｍはラベルなしサンプル集合に含まれるラベルなしサンプルのID番号を表す。
【０１５１】
次のステップＳ１０２で、初期化部３０が、パラメータ値の計算に用いるハイパーパラメータ値を設定する。具体的には、ハイパーパラメータC, ξ, γ, β の値を設定する。また、収束条件のパラメータεと、最大繰り返し計算数tmaxの値とを設定する。
【０１５２】
そして、ステップＳ１０３で、初期化部３０が、学習ステップtの初期値t=0と、スコア関数を構成する生成確率モデルのパラメータの初期値Θ(0)とを設定する。例えば、Θ(0) の各要素θ(0)ω,v （ω ∈ {+, -}）に1/Ｖを代入する。
【０１５３】
また、ステップＳ１０４で、初期化部３０が、ラベルありサンプルの正例集合Ｄ+及びラベルありサンプルの負例集合Ｄ-を用いて評価値モデルのパラメータ値を計算し、得られた値を、スコア関数を構成する評価値モデルのパラメータの初期値Ｗ(0)とする。
【０１５４】
ステップＳ１０４は、例えば、下記の１．〜４．により実現する。
【０１５５】
１．収束条件のパラメータε‘と、最大繰り返し計算数ｕmaxの値を設定する。
【０１５６】
２．ｕに0を代入し、ｗ(u)の各要素に0を代入する。＾Ｐ(ω|ｘm;ｗ(0),Θ(0)), ω ∈ {+, −}に0を代入する。
【０１５７】
３．BFGSアルゴリズムを用いて、上記式(20)を満たすｗ(u+1)の解を計算する。
【０１５８】
４．下記の（ａ），（ｂ）の学習終了判定を実行する。
【０１５９】
（ａ）収束条件
【０１６０】
【数４９】
0006482481.tif 000053
【０１６１】
を満たさなく、ｕ＜ｕmaxのとき
ｉ． u にu + 1を代入する。
ｉｉ．上記３．に戻る。
【０１６２】
（ｂ）それ以外のとき、ｗ(t) にｗ(u+1) を代入する。
【０１６３】
そして、ステップＳ１０５において、スコア計算部３２が、上記ステップＳ１０４又は後述するステップＳ１０６で得られたパラメータＷ(t)と、上記ステップＳ１０４又は後述するステップＳ１０７で得られたパラメータΘ(t)とをパラメータ値として用いて、ラベルなしサンプルｘmの各々について、上記式（７）に従って、当該ラベルなしサンプルｘmが正例である確率値＾Ｐ(＋|ｘm;Ｗ(t),Θ(t))と負例である確率値＾Ｐ(−|ｘm;Ｗ(t),Θ(t))を計算する。
【０１６４】
ステップＳ１０６では、評価値モデル計算部３４が、上記ステップＳ１０５で計算されたラベルなしサンプルｘmの各々についての確率値＾Ｐ(＋|ｘm;Ｗ,Θ)、＾Ｐ(−|ｘm;Ｗ,Θ)と、ラベルありサンプルｘ+i,ｘ-jと、ラベルなしサンプルｘmとを用いて、評価値モデルのパラメータの推定値Ｗ(t+1) を計算する。
【０１６５】
ステップＳ１０６は、例えば、下記の（ａ）〜（ｄ）により実現する。
【０１６６】
（ａ）収束条件のパラメータε‘と、最大繰り返し計算数ｕmaxの値を設定する。
【０１６７】
（ｂ）ｕに0を代入し、ｗ(u)にｗ(t)を代入する。
【０１６８】
（ｃ）BFGSアルゴリズムを用いて、上記式(20)を満たすｗ(u+1)の解を計算する。
【０１６９】
（ｄ）下記のｉ．〜ｉｉ．の学習終了判定を実行
【０１７０】
ｉ．収束条件
【０１７１】
【数５０】
0006482481.tif 000054
【０１７２】
を満たさなく、ｕ＜ｕmaxのとき
Ａ．ｕにｕ＋１を代入する。
Ｂ．上記(c)に戻る。
【０１７３】
ｉｉ．それ以外のとき、Ｗ(t+1) にｗ(u+1)を代入する。
【０１７４】
ステップＳ１０７では、生成確率モデル計算部３６が、上記ステップＳ１０５で計算されたラベルなしサンプルｘmの各々についての確率値＾Ｐ(＋|ｘm;Ｗ,Θ)、＾Ｐ(−|ｘm;Ｗ,Θ)と、ラベルありサンプルｘ+i,ｘ-jと、ラベルなしサンプルｘmとを用いて、生成確率モデルのパラメータの推定値Θ(t+1)を計算する。具体的には、上記式(23)、式(24)を用いて、
【０１７５】
【数５１】
0006482481.tif 000055
を計算する。
【０１７６】
ステップＳ１０８で、収束判定部３８が、パラメータＷ、の推定値の変化量d(t+1, t)を計算し、上記式（２５）の収束判定条件d(t+1, t)＜εを満たすか否かを判定する。収束判定条件を満たす場合には、ステップＳ１１０で、＾Ｗ← Ｗ(t+1)、＾Θ ← Θ(t+1)として、スコア関数の各パラメータの推定値＾Ｗ、＾Θをスコア関数記憶部４０に格納して、２値分類学習処理ルーチンを終了する。一方、収束判定条件を満たさなければ、ステップＳ１０９で、パラメータ学習のステップをt ← t + 1のように更新して、上記ステップＳ１０５へ戻り、ステップＳ１０５からステップＳ１０８までの処理を再度実施する。この処理は収束判定条件を満たすか、設計者が事前に与える最大値tmaxに学習ステップt が到達するまで繰り返す。
【０１７７】
また、２値分類装置１００によって、図４に示す２値分類処理ルーチンが実行される。
【０１７８】
まず、ステップＳ２０１で、テストデータデータベース２６に記憶されているテストデータ集合Ｄpを読み込む。
【０１７９】
次のステップＳ２０２では、スコア関数生成部２４からスコア関数を取得する。ステップＳ２０３では、スコア関数記憶部４０から、スコア関数のパラメータ値＾Ｗ、＾Θを読み込む。
【０１８０】
そして、ステップＳ２０４では、上記ステップＳ２０１で読み込まれたテストデータ集合Ｄpと、上記ステップＳ２０２とステップＳ２０３で読み込まれたパラメータ計算済みのスコア関数＾Ｐ(＋|ｗ；＾Ｗ,＾Θ )を用いて、テストデータｘzごとにスコア値＾Ｐ(＋|ｗz；＾Ｗ,＾Θ )を計算し、スコア値が大きい順にテストデータを並べ替える。そして、得られたスコア値とテストデータの順序を２値分類結果として出力部９０により出力して、利用者に提示し、必要に応じてテストデータ集合をスコアが高い順番に並べ変えた結果を適切な箇所に保存して、２値分類処理ルーチンを終了する。
【０１８１】
以上説明したように、第１の実施の形態に係る２値分類装置によれば、ラベルなしサンプルの各々について、評価値モデルと、正例のデータの生成確率モデルと、負例のデータの生成確率モデルとを用いて、ラベルなしサンプルが正例のデータである確率、負例のデータである確率を計算し、ラベルなしサンプルの各々についての確率と、ラベルありサンプルと、ラベルなしサンプルとに基づいて、評価値モデルを計算し、正例のデータの生成確率モデル及び負例のデータの生成確率モデルを計算することを繰り返すことにより、正例と負例の数の差が大きい場合であっても、精度よく２値分類をすることができるスコア関数を学習することができる。また、このように学習されたスコア関数を用いて、テストデータについて、精度よく２値分類をすることができる。
【０１８２】
また、特徴ベクトルによって表現されるコンテンツを、ある特定の種別に関連するか否かを判定する２値分類問題において、スコア関数のパラメータである評価値モデルのパラメータと、生成確率モデルのパラメータとを、ラベルありサンプルとラベルなしサンプル双方の統計情報を同時に用いて計算することで、ラベルありサンプル集合に対して負例より正例に大きなスコアを与えるスコア関数を学習し、かつラベルなしサンプルの統計情報を効果的に取り込んでラベルありサンプルに含まれない特徴量に関するスコア関数の学習不足を補う。以上の技術により、正例と負例の数に大きな差がある２値分類問題においても、新規コンテンツ集合の中から当該特定の種別に関連するコンテンツを高い精度で抽出する分類装置を実現することができる。
【０１８３】
＜第２の実施の形態＞
次に、第２の実施の形態に係る２値分類装置について説明する。なお、第２の実施の形態に係る２値分類装置の構成は、第１の実施の形態と同様であるため、同一符号を付して、説明を省略する
【０１８４】
第２の実施の形態では、評価値モデルの計算のための目的関数が、第１の実施の形態と異なっている。
【０１８５】
上記第１の実施の形態では、評価値モデルの学習にラベルなしサンプルを用いるために、上記式(4)の目的関数を定義したが、第２の実施の形態では、以下の目的関数を用いて評価値モデルの学習を行う。
【０１８６】
【数５２】
0006482481.tif 000056
【０１８７】
第１の実施の形態では、ラベルなしサンプルと正例のラベルありサンプルの関数値の比較と、ラベルなしサンプルと負例のラベルありサンプルの関数値の比較と、を並列的に行う目的関数を設計するのに対して、第２の実施の形態では、ラベルなしサンプルをそれぞれ１つ加えたときに当該ラベルなしサンプルの関数値とラベルありサンプル集合の各関数値とから計算されるＡＵＣの推定値を最大化させるパラメータ値を求めるための目的関数を設計する。
【０１８８】
上記第１の実施の形態と同様にして、正例のコンテンツの生成確率モデルｐ(ｘ; θ＋)と、負例のコンテンツの生成確率モデルｐ(ｘ; θ−) とを導入し、評価値モデルのパラメータＷと、生成確率モデルのパラメータΘ = [θ＋ θ−]と、ラベルなしサンプルのクラス確率Ｐ(ω|ｘm), ω ∈ {+, −}, ∀mとを、以下の目的関数を最大化させるように学習させる。
【０１８９】
【数５３】
0006482481.tif 000057
制約
【０１９０】
【数５４】
0006482481.tif 000058
【０１９１】
の下でラグランジュ未定乗数法を用いると、式(27)のＪ(Ｗ,Θ,Ｐ)を最大化させるＰ(ω|ｘm), ω ∈ {+, −}, ∀mの解
【０１９２】
【数５５】
0006482481.tif 000059
が得られる。ただし、
【０１９３】
【数５６】
0006482481.tif 000060
である。本実施の形態では、式(28) で与えられるｘ についての関数＾Ｐ(+|ｘ;Ｗ, Θ)を、コンテンツが正例であるか否かを判定するためのスコア関数とする。
【０１９４】
式(28)を式(27)に代入すると、ＷとΘに関する目的関数
【０１９５】
【数５７】
0006482481.tif 000061
が得られる。
【０１９６】
上記式(31)で与えられる目的関数＾Ｊ(Ｗ,Θ)を最大化させるＷとΘの計算方法として、例えば、
【０１９７】
【数５８】
0006482481.tif 000062
【０１９８】
を満たす以下のＱ1(Ｗ,Θ,Ｗ(t),Θ(t)) を最大化させるＷとΘを繰り返し計算することで、ＷとΘの初期値周辺で＾Ｊ(Ｗ, Θ) を最大化させる局所最適解を得ることができる。
【０１９９】
【数５９】
0006482481.tif 000063
【０２００】
ただし，
【０２０１】
【数６０】
0006482481.tif 000064
【０２０２】
であり、Ｊ(t)g (Θ) は上記式(13) を満たす。ただし、上記第１の実施の形態の場合とは異なり、上記式(13) に含まれる＾Ｐ(ω|ｘm;Ｗ(t),Θ(t)) は、上記式(28) で計算される確率の推定値である。(t+1) ステップの推定値を
【０２０３】
【数６１】
0006482481.tif 000065
のように計算することで、＾Ｊ(Ｗ, Θ) を単調に増加させるＷとΘの推定値を得ることができる。上記式(20)の解は、以下のようにＷ(t+1) とΘ(t+1) を独立に計算することで得られる。
【０２０４】
【数６２】
0006482481.tif 000066
【０２０５】
評価値モデルで用いる関数ｆ(ｘ,Ｗ)を式(17)のように線形関数で設計し、Ｗの正則化項Ｒ(Ｗ)として式(18)を用いる場合、式(35)の解Ｗ(t+1)＝ｗ(t+1)として、
【０２０６】
【数６３】
0006482481.tif 000067
【０２０７】
を満たす以下のＱ2(ｗ,ｗ(u))を最大化させるｗを繰り返し計算することで、初期値ｗ(t)の周辺でＪ(t)a(w)を最大化させるｗを求めてもよい。
【０２０８】
【数６４】
0006482481.tif 000068
【０２０９】
ただし、
【０２１０】
【数６５】
0006482481.tif 000069
【０２１１】
である。Ｑ2(ｗ,ｗ(u))はｗに関する凹関数であるため、BFGSアルゴリズムなどを用いてＱ2(ｗ,ｗ(u))を最大化させるｗの大域最適解ｗ(u+1)を求めることができる。
【０２１２】
以上説明した原理に従って、スコア関数生成部２４の初期化部３０は、第１の実施の形態と同様に、評価値モデルのパラメータＷ、生成確率モデルのパラメータΘに初期値を設定する。
【０２１３】
スコア計算部３２は、ラベルなしサンプルｘmの各々について、初期化部３０で初期値が設定され、又は評価値モデル計算部３４によって前回計算された評価値モデルのパラメータＷと、初期化部３０で初期値が設定され、又は生成確率モデル計算部３６によって前回計算された生成確率モデルのパラメータΘとを用いて、上記式（７）に従って、ラベルなしサンプルｘmが正例のデータである確率値＾Ｐ(＋|ｘm;Ｗ,Θ)、及び負例である確率値＾Ｐ(−|ｘm;Ｗ,Θ)を計算する。
【０２１４】
評価値モデル計算部３４は、スコア計算部３２によって計算されたラベルなしサンプルｘmの各々についての確率値＾Ｐ(＋|ｘm;Ｗ,Θ)、＾Ｐ(−|ｘm;Ｗ,Θ)と、ラベルありサンプルｘ+i,ｘ-jと、ラベルなしサンプルｘmとに基づいて、上記式（２７）、式（２８）に従って、評価値モデルに対して、シグモイド関数を用いて近似した、ＡＵＣ（Ａｒｅａ Ｕｎｄｅｒ ｔｈｅ Ｃｕｒｖｅ）値を最大化するように、評価値モデルのパラメータＷを計算する。
【０２１５】
生成確率モデル計算部３６は、スコア計算部３２によって計算されたラベルなしサンプルｘmの各々についての確率値＾Ｐ(＋|ｘm;Ｗ,Θ)、＾Ｐ(−|ｘm;Ｗ,Θ)と、ラベルありサンプルｘ+i,ｘ-jと、ラベルなしサンプルｘmとに基づいて、上記第１の実施の形態と同様に、上記式（２３）、式（２４）に従って、正例のデータの生成確率モデルθ＋,v及び負例のデータの生成確率モデルθ−,vを計算する。
【０２１６】
収束判定部３８は、上記第１の実施の形態と同様に、上記式（２５）に示す収束判定条件を満たすまで、スコア計算部３２による計算、評価値モデル計算部３４による計算、及び生成確率モデル計算部３６による計算を繰り返させ、スコア関数で用いる評価値モデルのパラメータＷ及び生成確率モデルのパラメータΘを、スコア関数記憶部４０に格納する。
【０２１７】
なお、第２の実施の形態に係る２値分類装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【０２１８】
＜実験例＞
次に、テキスト自動分類装置の性能評価によく用いられるデータベース20 newsgroups(20News, 非特許文献２参照)に、第１の実施の形態に係る２値分類装置１００を適用した場合の実験結果を、表１、表２に示す。表１は、ラベルありサンプル数が１００の場合の実験結果であり、表２は、ラベルありサンプル数が２００の場合の実験結果である。
【０２１９】
【表１】
0006482481.tif 000070
【０２２０】
【表２】
0006482481.tif 000071
【０２２１】
このデータベースには、コンテンツ本体とコンテンツが属するカテゴリ情報が付与されており、カテゴリの総数は20である。性能評価では、ある1つのターゲットカテゴリ(TC)と他の19カテゴリに分類する評価用データセットを作成した。データベースに含まれる20カテゴリをそれぞれターゲットカテゴリ(TC)として用いることで、20通りの評価用データセットを作成した。
【０２２２】
それぞれの評価用データセットを用いた実験評価で、２値分類装置１００のパラメータ値の計算に用いるラベルありサンプルと5000個のラベルなしサンプルを、当該評価用データセットから無作為に抽出した。ここで、ラベルありサンプルとは、コンテンツ本体とクラス情報(正例・負例) の両方を訓練データとして用いるサンプルであり、ラベルなしサンプルとはコンテンツ本体のみの情報を訓練データとして用いるサンプルである。すなわち、ラベルなしサンプルとして抽出されたコンテンツについては、データベースに記録されたクラス情報を用いずに、スコア関数のパラメータ計算を行う。また、ラベルありサンプルとラベルなしサンプルとして抽出されなかった残りのコンテンツから、2000文書を利用者が分類を望むコンテンツとして(以下、テストサンプル)無作為に抽出して、２値分類の性能評価に用いた。性能評価の尺度には、2値分類の評価によく用いられるAUC値を用いた。
【０２２３】
表１、２は、それぞれ100個と200個のラベルありサンプルを用いて、２値分類装置１００の識別関数のパラメータ値を計算した場合の結果を表す。ラベルありデータの個数とターゲットクラスのそれぞれの条件で、無作為のサンプル抽出と実験評価を繰り返し10 回行い、平均AUC値を算出した。表中の「方法１」の欄は第１の実施の形態を用いて得られた平均AUC値を、「方法２」は非特許文献２の技術を２値分類に適用して得られた平均AUC値を、「方法３」は、第１の実施の形態に記載の評価値モデルの関数
【０２２４】
【数６６】
0006482481.tif 000072
【０２２５】
を式(１０)の目的関数の最大化によりラベルありサンプルのみで学習させて得られた平均AUC値を示す括弧中の数値は10回の実験評価で得られたAUC値の標準偏差である。
【０２２６】
表１、２より、ラベルありサンプル数が100の場合、200の場合でともに、方法１は方法２、３よりも高い分類精度が得られた。方法１と方法３の比較より、本発明による２値分類装置でラベルなしサンプルをスコア関数の学習に用いることで分類精度が向上することが確認された。また、方法１と方法２の比較により、本発明の第１の実施の形態による2値分類装置は、非特許文献2の従来技術による分類装置に比べて分類性能の点で優位性を有していることがわかる。
【０２２７】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０２２８】
例えば、上記の実施の形態では、２値分類学習装置と２値分類装置とを、１つの２値分類装置で実現する場合を例に説明したが、これに限定されるものではなく、２値分類学習装置と２値分類装置とを別々に設けてもよい。この場合には、２値分類学習装置が、入力部１０、訓練データデータベース２２、スコア関数生成部２４、及び出力部９０を備えればよい。また、２値分類装置が、入力部１０、テストデータデータベース２６、スコア関数記憶部４０、順位付け部２８、及び出力部９０を備えればよい。
【０２２９】
本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【符号の説明】
【０２３０】
１０   入力部
２０   演算部
２２   訓練データデータベース
２４   スコア関数生成部
２６   テストデータデータベース
２８   順位付け部
３０   初期化部
３２   スコア計算部
３４   評価値モデル計算部
３６   生成確率モデル計算部
３８   収束判定部
４０   スコア関数記憶部
９０   出力部
１００ ２値分類装置
【図１】
0006482481.tif 000073
【図２】
0006482481.tif 000074
【図３】
0006482481.tif 000075
【図４】
0006482481.tif 000076