(57)【特許請求の範囲】
【請求項１】
所定の入力データをクラスへ分類するデータ分類装置であって、
予め求められた相対確信度算出パラメータを格納する算出パラメータ記憶手段と、
算出する分類手法または構成要素や特徴が互いに異なる複数の分類スコア算出手段と、
分類スコアを格納する分類スコア記憶手段と、
相対確信度を算出する相対確信度算出手段と、
前記入力データの属するクラスあるいはクラス群を決定するデータクラス決定手段と、
を有し、
前記分類スコア算出手段は、
前記所定の入力データが複数のクラスのそれぞれに属する事後確率あるいは尤もらしさである尤度あるいは分離超平面からの距離であり、値が大きいほど対応するクラスへ属する確率が高いことを表す分類スコアを算出し、分類スコア記憶手段に格納する手段を含み、
前記相対確信度算出手段は、
前記分類スコア記憶手段から全ての前記分類スコア算出手段によって出力された全ての分類スコアを取得して、該全ての分類スコアから、前記算出パラメータ記憶手段に格納されている前記相対確信度算出パラメータを用いて、各分類スコアの上位Ｎ個（Ｎ≧１）に対応するクラスあるいはクラス群の中に正解のクラスがあり、かつ、他の分類スコア算出手段の分類スコアの上位Ｎ個に対応するクラスあるいはクラス群の中には正解のクラスがない確率を表す相対確信度を算出する手段を含み、
前記データクラス決定手段は、
前記相対確信度が尤も高い分類スコア算出手段の分類スコアに基づいて入力データの属するクラスあるいはクラス群を決定する手段を含む
ことを特徴とするデータ分類装置。
【請求項２】
前記相対確信度算出手段は、
Ｎ個のクラス群を決定するときに、全ての分類スコア算出手段の上位Ｎ＋１個の分類スコアを用いて算出する手段を含む
請求項１記載のデータ分類装置。
【請求項３】
前記相対確信度算出手段は、
２クラスあるいは多クラスのロジスティック回帰（カーネルを用いるものも含む）あるいは、サポートベクターマシン、あるいは、他の識別モデルに基づく機械学習手法を用いる
請求項１または２記載のデータ分類装置。
【請求項４】
所定の入力データをクラスへ分類するデータ分類方法であって、
算出する分類手法または構成要素や特徴が互いに異なる複数の分類スコア算出手段が、前記所定の入力データが複数のクラスのそれぞれに属する事後確率あるいは尤もらしさである尤度あるいは分離超平面からの距離であり、値が大きいほど対応するクラスへ属する確率が高いことを表す分類スコアを算出し、分類スコア記憶手段に格納する分類スコア算出ステップと、
相対確信度算出手段が、前記分類スコア記憶手段から全ての前記分類スコア算出手段によって出力された全ての分類スコアを取得して、該全ての分類スコアから、算出パラメータ記憶手段に格納されている相対確信度算出パラメータを用いて、各分類スコアの上位Ｎ個（Ｎ≧１）に対応するクラスあるいはクラス群の中に正解のクラスがあり、かつ、他の分類スコア算出手段の分類スコアの上位Ｎ個に対応するクラスあるいはクラス群の中には正解のクラスがない確率を表す相対確信度を算出する相対確信度算出ステップと、
前記データクラス決定手段が、前記相対確信度が尤も高い分類スコア算出手段の分類スコアに基づいて入力データの属するクラスあるいはクラス群を決定するデータクラス決定ステップと、
を行うことを特徴とするデータ分類方法。
【請求項５】
前記相対確信度算出ステップにおいて
Ｎ個のクラス群を決定するときに、全ての分類スコア算出手段の上位Ｎ＋１個の分類スコアを用いて算出する
請求項４記載のデータ分類方法。
【請求項６】
前記相対確信度算出ステップにおいて、
２クラスあるいは多クラスのロジスティック回帰（カーネルを用いるものも含む）あるいは、サポートベクターマシン、あるいは、他の識別モデルに基づく機械学習手法を用いる
請求項４または５記載のデータ分類方法。
【請求項７】
コンピュータを、
請求項１乃至３のいずれか１項に記載のデータ分類装置の各手段として機能させるためのデータ分類プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ分類装置及び方法及びプログラムに係り、特に、分類スコアを用いてデータを分類するためのデータ分類装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
入力データを分類する際に、複数の分類スコア算出手段の出力を同時に用いる方法として、最大の分類スコアを示すクラスが入力データに対するクラスであることを示す確信度を算出して、最大の確信度を示す分類スコア算出手段画出力するクラスを、入力データが属するクラスとする分類手法がある（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】内山俊郎、別所克人、内山匡、奥雅博、"確信度推定を用いた複数分類器の結合"，人工知能学会、知能ベースシステム研究会予稿集，2009年1月．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の従来技術において、非特許文献１の技術は、分類スコア算出手段毎に、その分類スコア算出手段の分類スコアから、第一位の分類スコアを示すクラスが正解である確率（＝確信度）を算出していた。そのため、確信度の算出において他の分類スコア算出手段の分類スコアを反映することができず、そのために予測精度が低下する懸念があった。
【０００５】
本発明は、上記の点に鑑みなされたもので、分類スコア算出手段毎の分類スコアのみから個々の分類器出力の確信度を予測する方法よりも的確な分類スコア算出手段の選別が可能なデータ分類装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、本発明（請求項１）は、所定の入力データをクラスへ分類するデータ分類装置であって、
予め求められた相対確信度算出パラメータを格納する算出パラメータ記憶手段と、
算出する分類手法または構成要素や特徴が互いに異なる複数の分類スコア算出手段と、
分類スコアを格納する分類スコア記憶手段と、
相対確信度を算出する相対確信度算出手段と、
前記入力データの属するクラスあるいはクラス群を決定するデータクラス決定手段と、
を有し、
前記分類スコア算出手段は、
前記所定の入力データが複数のクラスのそれぞれに属する事後確率あるいは尤もらしさである尤度あるいは分離超平面からの距離であり、値が大きいほど対応するクラスへ属する確率が高いことを表す分類スコアを算出し、分類スコア記憶手段に格納する手段を含み、
前記相対確信度算出手段は、
前記分類スコア記憶手段から全ての前記分類スコア算出手段によって出力された全ての分類スコアを取得して、該全ての分類スコアから、前記算出パラメータ記憶手段に格納されている前記相対確信度算出パラメータを用いて、各分類スコアの上位Ｎ個（Ｎ≧１）に対応するクラスあるいはクラス群の中に正解のクラスがあり、かつ、他の分類スコア算出手段の分類スコアの上位Ｎ個に対応するクラスあるいはクラス群の中には正解のクラスがない確率を表す相対確信度を算出する手段を含み、
前記データクラス決定手段は、
前記相対確信度が尤も高い分類スコア算出手段の分類スコアに基づいて入力データの属するクラスあるいはクラス群を決定する手段を含む
【０００７】
また、本発明（請求項２）は、前記相対確信度算出手段において、
Ｎ個のクラス群を決定するときに、全ての分類スコア算出手段の上位Ｎ＋１個の分類スコアを用いて算出する手段を含む。
【０００８】
また、本発明（請求項３）は、前記相対確信度算出手段において、
２クラスあるいは多クラスのロジスティック回帰（カーネルを用いるものも含む）あるいは、サポートベクターマシン、あるいは、他の識別モデルに基づく機械学習手法を用いる。
【０００９】
本発明（請求項４）は、所定の入力データをクラスへ分類するデータ分類方法であって、
算出する分類手法または構成要素や特徴が互いに異なる複数の分類スコア算出手段が、前記所定の入力データが複数のクラスのそれぞれに属する事後確率あるいは尤もらしさである尤度あるいは分離超平面からの距離であり、値が大きいほど対応するクラスへ属する確率が高いことを表す分類スコアを算出し、分類スコア記憶手段に格納する分類スコア算出ステップと、
相対確信度算出手段が、前記分類スコア記憶手段から全ての前記分類スコア算出手段によって出力された全ての分類スコアを取得して、該全ての分類スコアから、算出パラメータ記憶手段に格納されている相対確信度算出パラメータを用いて、各分類スコアの上位Ｎ個（Ｎ≧１）に対応するクラスあるいはクラス群の中に正解のクラスがあり、かつ、他の分類スコア算出手段の分類スコアの上位Ｎ個に対応するクラスあるいはクラス群の中には正解のクラスがない確率を表す相対確信度を算出する相対確信度算出ステップと、
前記データクラス決定手段が、前記相対確信度が尤も高い分類スコア算出手段の分類スコアに基づいて入力データの属するクラスあるいはクラス群を決定するデータクラス決定ステップと、を行う。
【００１０】
また、本発明（請求項５）は、前記相対確信度算出ステップにおいて
Ｎ個のクラス群を決定するときに、全ての分類スコア算出手段の上位Ｎ＋１個の分類スコアを用いて算出する。
【００１１】
また、本発明（請求項６）は、前記相対確信度算出ステップにおいて、
２クラスあるいは多クラスのロジスティック回帰（カーネルを用いるものも含む）あるいは、サポートベクターマシン、あるいは、他の識別モデルに基づく機械学習手法を用いる。
【００１２】
本発明（請求項７）は、コンピュータを、請求項１乃至３のいずれか１項に記載のデータ分類装置の各手段として機能させるためのデータ分類プログラムである。
【発明の効果】
【００１３】
本発明は、複数の分類スコア算出手段が出力する全ての分類スコア情報を活用することで、他の分類スコア算出手段の分類スコアを反映した相対確信度を求め、この値が高い分類スコア算出手段を推測することにより、分類スコア算出手段毎の分類スコアのみから個々の分類スコア算出手段の出力の確信度を予測するよりも精度が高く、的確な分類スコア算出手段の選別を可能とし、結果として精度の高い分類結果を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施の形態におけるデータ分類装置の構成図である。
【図２】本発明の一実施の形態におけるデータ分類装置の処理のフローチャートである。
【発明を実施するための形態】
【００１５】
以下図面と共に、本発明の実施の形態を説明する。
【００１６】
本発明は、複数の分類スコア算出手段が出力する分類スコアを全て入力し、各分類スコア算出手段の相対確信度を識別問題として予測するものである。
【００１７】
図１は、本発明の一実施の形態におけるデータ分類装置の構成を示す。
【００１８】
同図に示すデータ分類装置１０は、入力部１１、分類スコア算出制御部１２、複数の分類スコア算出手段１３、相対確信度算出部１４、データクラス決定部１５、メモリ１６、分類スコア記憶部１７、算出パラメータ記憶部１８、相対確信度記憶部１９、クラス群番号記憶部２０から構成され、入力部１１には処理対象記憶部１、キーボード２が接続され、出力部１５にはディスプレイ３が接続されている。
【００１９】
処理対象記憶部１は、文書等の処理対象が格納されているデータベースであり、入力部１１により読み出される。
【００２０】
メモリ１６は、入力部１１によって入力された処理対象が格納される。
【００２１】
算出パラメータ記憶部１８は、後述するロジスティック回帰モデルにおけるモデルパラメータ推定手順によって予め求められていた相対確信度算出パラメータが格納される。
ステップと、を行う。
【００２２】
相対確信度記憶部１９は、相対確信度算出部１４によって求められた相対確信度が格納される。
【００２３】
クラス番号記憶部２０は、相対確信度算出部１４で入力された上位Ｎ個の分類スコアに対応するクラス番号が格納される。
【００２４】
入力部１１は、処理対象記憶部１から処理対象データを読み込み、メモリ１６に格納すると共に、キーボード２から入力された分類スコア算出手段１３の数及び分類先であるクラス数を取得し、分類スコア算出制御部１２に渡す。
【００２５】
分類スコア算出制御部１２は、メモリ１６から処理対象データの特徴量を入力する分類スコア算出手段１３を決定し、分類スコアを算出させる。
【００２６】
分類スコア算出手段１３は、入力データが複数のクラスのそれぞれに属する事後確率あるいは尤もらしさである尤度あるいは分離超平面からの距離などの分類スコアを算出し、分類スコア記憶部１７に格納する。それぞれの分類スコア算出手段１３は、分類手法または構成要素や特徴が互いに異なる。例えば、データの特徴ベクトルとクラスラベルの同時確率分布をモデル化し、ベイズ則に基づいてクラス事後確率を直接モデル化することで、データのクラスラベルを推定する生成アプローチ、クラスの事後確率を直接モデル化する識別アプローチなどがある。
【００２７】
相対確信度算出部１４は、分類スコア記憶部１７に格納されている全ての分類スコアから、算出パラメータ記憶部１８に格納されている相対確信度算出パラメータを用いて、各分類スコア算出手段について上位Ｎ個（Ｎ≧１）に対応するクラスあるいはクラス群の中に正解のクラスがあり、かつ、他の分類スコア算出手段の上位Ｎ個に対応するクラスあるいはクラス群の中には正解のクラスがない確率を表す相対確信度を算出し、相対確信度記憶部１９に格納する。
【００２８】
データクラス決定部１５は、相対確信度記憶部１９から相対確信度を取得し、最も高い相対確信度を示した分類スコア算出手段の分類スコアに基づいて入力データの属するクラスあるいはクラス群を決定し、出力する。
【００２９】
図２は、本発明の一実施の形態におけるデータ分類装置の処理のフローチャートであり、入力データがいずれかに属するクラス群の数がＮ（≧１）の場合として説明する。
【００３０】
ステップ１０１）  入力部１１は、処理対象記憶部１から処理対象である入力データをメモリ１６上に読み込む。
【００３１】
ステップ１０２）  入力部１１は、キーボード２から入力された分類スコア算出手段１３の数ｎと、クラス数Ｋを取得し、分類スコア算出制御部１２に渡す。
【００３２】
ステップ１０３）  分類スコア算出制御部１２は、分類スコア算出手段１３の番号ｉを１に初期化する（i＝１）。
【００３３】
ステップ１０４）  分類スコア算出制御部１２は、分類スコア算出手段１３の番号ｉがｉ≦ｎであればステップ１０５に移行し、そうでなければステップ１１０へ移行する。
【００３４】
ステップ１０５）  分類スコア算出制御部１２は、メモリ１４に格納されている入力データＷの特徴を第ｉ番目の分類スコア算出手段１３iに入力し、入力データがクラスCk(ｋ＝１，…，K)（事後確率あるいは尤度あるいは分離超平面からの距離などで、値が大きいほど対応するクラスへ属する確率が高いことを表す）を算出する。算出する方法としては、文献１「上田修功、斉藤和巳、"多重トピックテキストの確率モデルテキストモデル研究の最前線（１）"，情報処理学会、会誌「情報処理」45巻2号，pp. 184-190，2004年2月」に記載されているナイーブベイズという方法を用いてもよい。算出された分類スコアを分類スコア記憶部１７に格納する。
【００３５】
ステップ１０６）  第i分類スコア算出手段１３iの上位Ｎ個の分類スコアに対応するクラス群ｈiをクラス群番号記憶部２０に格納する。
【００３６】
ステップ１０７）  分類スコア算出手段１３iの番号iをi+1としてステップ１０４に戻る。
【００３７】
ステップ１１０）  分類スコア記憶部１７から上記入力データＷが各クラスに属する分類スコアを読み込んで全分類スコア算出手段１３の上位Ｎ＋１をLm（ｍ＝１，…，N+1）とし、算出パラメータ記憶部１８から相対確信度パラメータ
【００３８】
【数１】
0005667004.tif 000002
を読み込み、次式により第ｉ番目の分類スコア算出手段１３iの相対確信度Piを求め、相対確信度記憶部１９に格納する。
【００３９】
【数２】
0005667004.tif 000003
式（１）、（２）は、多クラスのロジスティック回帰式である。算出パラメータを求める場合は、文献２「C. M. ビショップ，"Pattern Recognition and Machine Learning (邦訳：パターン認識と機械学習）"，pp. 208-209  Springer 2006．」に記載されている多クラスロジスティック回帰分析において、全ての分類スコア算出手段１３が算出した上位Ｎ＋１個の分類スコアn×(N+1)を説明変数とし、唯一の分類スコア算出手段のみが上位Ｎ個に対応するクラスあるいはクラス群の中に正解があり、他の分類スコア算出手段には無い場合において、正解があった分類スコア算出手段１３iに対応する要素のみが１で、それ以外が０となる目的変数ベクトル（n次元ベクトル）を定義する。目的変数ベクトルが定義できるデータ（説明変数と目的変数）のみを学習データとして最尤推定によりロジスティック回帰パラメータを求め、これを相対確信度を算出するための算出パラメータとしてもよい。
【００４０】
ステップ１１１）  相対確信度記憶部１９から各分類スコア算出手段１３の相対確信度Ｐｉ（ｉ＝１，…，ｎ）を読み込み、最大の相対確信度の分類スコア算出手段を選択する。
【００４１】
ステップ１１２）  上記選択した分類スコア算出手段が出力した上位N個の分類スコアに対応するクラス群ｈをクラス群番号記憶部２０から読み込み、これを入力データがいずれかに属するクラス群として出力する。
【００４２】
なお、上記のデータ分類装置の各構成要素の動作をプログラムとして構築し、データ分類装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００４３】
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【符号の説明】
【００４４】
１  処理対象記憶部
２  キーボード
３  ディスプレイ
１０  データ分類装置
１１  入力部
１２  分類スコア算出制御部
１３  分類スコア算出手段
１４  相対確信度算出部
１５  データクラス決定部
１６  メモリ
１７  分類スコア記憶部
１８  算出パラメータ記憶部
１９  相対確信度記憶部
２０  クラス群番号記憶部
【図１】
0005667004.tif 000004
【図２】
0005667004.tif 000005