"所定の入力データをクラスへ分類するデータ分類装置であって、算出する分類手法または構成要素や特徴が互いに異なる複数の分類スコア算出手段と、分類スコアを格納する分類スコア記憶手段と、相対確信度を算出する相対確信度算出手段と、前記入力データの属するクラスあるいはクラス群を決定するデータクラス決定手段と、を有し、前記分類スコア算出手段は、前記所定の入力データが複数のクラスのそれぞれに属する事後確率あるいは尤もらしさである尤度あるいは分離超平面からの距離であり、値が大きいほど対応するクラスへ属する確率が高いことを表す分類スコアを算出し、分類スコア記憶手段に格納する手段を含み、前記相対確信度算出手段は、前記分類スコア記憶手段から全ての前記分類スコア算出手段によって出力された全ての分類スコアを取得して、該全ての分類スコアから、各分類スコア算出手段について分類スコアの上位N個N≧1に対応するクラスあるいはクラス群の中に正解のクラスがあり、かつ、他の分類スコア算出手段の分類スコアの上位N個に対応するクラスあるいはクラス群の中には正解のクラスがない確率を表す相対確信度を算出する手段を含み、前記データクラス決定手段は、前記相対確信度が尤も高い分類スコア算出手段の分類スコアに基づいて入力データの属するクラスあるいはクラス群を決定する手段を含むことを特徴とするデータ分類装置。前記相対確信度算出手段は、N個のクラス群を決定するときに、全ての分類スコア算出手段の上位N1個の分類スコアを用いて算出する手段を含む請求項1記載のデータ分類装置。前記相対確信度算出手段は、2クラスあるいは多クラスのロジスティック回帰カーネルを用いるものも含むあるいは、サポートベクターマシン、あるいは、他の識別モデルに基づく機械学習手法を用いる請求項1または2記載のデータ分類装置。所定の入力データをクラスへ分類するデータ分類方法であって、算出する分類手法または構成要素や特徴が互いに異なる複数の分類スコア算出手段が、前記所定の入力データが複数のクラスのそれぞれに属する事後確率あるいは尤もらしさである尤度あるいは分離超平面からの距離であり、値が大きいほど対応するクラスへ属する確率が高いことを表す分類スコアを算出し、分類スコア記憶手段に格納する分類スコア算出ステップと、相対確信度算出手段が、前記分類スコア記憶手段から全ての前記分類スコア算出手段によって出力された全ての分類スコアを取得して、該全ての分類スコアから、各分類スコア算出手段について分類スコアの上位N個N≧1に対応するクラスあるいはクラス群の中に正解のクラスがあり、かつ、他の分類スコア算出手段の分類スコアの上位N個に対応するクラスあるいはクラス群の中には正解のクラスがない確率を表す相対確信度を算出する相対確信度算出ステップと、前記データクラス決定手段が、前記相対確信度が尤も高い分類スコア算出手段の分類スコアに基づいて入力データの属するクラスあるいはクラス群を決定するデータクラス決定ステップと、を行うことを特徴とするデータ分類方法。前記相対確信度算出ステップにおいてN個のクラス群を決定するときに、全ての分類スコア算出手段の上位N1個の分類スコアを用いて算出する請求項4記載のデータ分類方法。前記相対確信度算出ステップにおいて、2クラスあるいは多クラスのロジスティック回帰カーネルを用いるものも含むあるいは、サポートベクターマシン、あるいは、他の識別モデルに基づく機械学習手法を用いる請求項4または5記載のデータ分類方法。コンピュータを、請求項1乃至3のいずれか1項に記載のデータ分類装置の各手段として機能させるためのデータ分類プログラム。しかしながら、上記の従来技術において、非特許文献1の技術は、分類スコア算出手段毎に、その分類スコア算出手段の分類スコアから、第一位の分類スコアを示すクラスが正解である確率=確信度を算出していた。そのため、確信度の算出において他の分類スコア算出手段の分類スコアを反映することができず、そのために予測精度が低下する懸念があった。本発明は、上記の点に鑑みなされたもので、分類スコア算出手段毎の分類スコアのみから個々の分類器出力の確信度を予測する方法よりも的確な分類スコア算出手段の選別が可能なデータ分類装置及び方法及びプログラムを提供することを目的とする。上記の課題を解決するため、本発明請求項1は、所定の入力データをクラスへ分類するデータ分類装置であって、算出する分類手法または構成要素や特徴が互いに異なる複数の分類スコア算出手段と、分類スコアを格納する分類スコア記憶手段と、相対確信度を算出する相対確信度算出手段と、前記入力データの属するクラスあるいはクラス群を決定するデータクラス決定手段と、を有し、前記分類スコア算出手段は、前記所定の入力データが複数のクラスのそれぞれに属する事後確率あるいは尤もらしさである尤度あるいは分離超平面からの距離であり、値が大きいほど対応するクラスへ属する確率が高いことを表す分類スコアを算出し、分類スコア記憶手段に格納する手段を含み、前記相対確信度算出手段は、前記分類スコア記憶手段から全ての前記分類スコア算出手段によって出力された全ての分類スコアを取得して、該全ての分類スコアから、各分類スコア算出手段について分類スコアの上位N個N≧1に対応するクラスあるいはクラス群の中に正解のクラスがあり、かつ、他の分類スコア算出手段の分類スコアの上位N個に対応するクラスあるいはクラス群の中には正解のクラスがない確率を表す相対確信度を算出する手段を含み、前記データクラス決定手段は、前記相対確信度が尤も高い分類スコア算出手段の分類スコアに基づいて入力データの属するクラスあるいはクラス群を決定する手段を含む。また、本発明請求項2は、前記相対確信度算出手段において、N個のクラス群を決定するときに、全ての分類スコア算出手段の上位N1個の分類スコアを用いて算出する手段を含む。また、本発明請求項3は、前記相対確信度算出手段において、2クラスあるいは多クラスのロジスティック回帰カーネルを用いるものも含むあるいは、サポートベクターマシン、あるいは、他の識別モデルに基づく機械学習手法を用いる。本発明請求項4は、所定の入力データをクラスへ分類するデータ分類方法であって、算出する分類手法または構成要素や特徴が互いに異なる複数の分類スコア算出手段が、前記所定の入力データが複数のクラスのそれぞれに属する事後確率あるいは尤もらしさである尤度あるいは分離超平面からの距離であり、値が大きいほど対応するクラスへ属する確率が高いことを表す分類スコアを算出し、分類スコア記憶手段に格納する分類スコア算出ステップと、相対確信度算出手段が、前記分類スコア記憶手段から全ての前記分類スコア算出手段によって出力された全ての分類スコアを取得して、該全ての分類スコアから、各分類スコア算出手段について分類スコアの上位N個N≧1に対応するクラスあるいはクラス群の中に正解のクラスがあり、かつ、他の分類スコア算出手段の分類スコアの上位N個に対応するクラスあるいはクラス群の中には正解のクラスがない確率を表す相対確信度を算出する相対確信度算出ステップと、前記データクラス決定手段が、前記相対確信度が尤も高い分類スコア算出手段の分類スコアに基づいて入力データの属するクラスあるいはクラス群を決定するデータクラス決定ステップと、を行う。また、本発明請求項5は、前記相対確信度算出ステップにおいてN個のクラス群を決定するときに、全ての分類スコア算出手段の上位N1個の分類スコアを用いて算出する。また、本発明請求項6は、前記相対確信度算出ステップにおいて、2クラスあるいは多クラスのロジスティック回帰カーネルを用いるものも含むあるいは、サポートベクターマシン、あるいは、他の識別モデルに基づく機械学習手法を用いる。本発明請求項7は、コンピュータを、請求項1乃至3のいずれか1項に記載のデータ分類装置の各手段として機能させるためのデータ分類プログラムである。本発明は、複数の分類スコア算出手段が出力する全ての分類スコア情報を活用することで、他の分類スコア算出手段の分類スコアを反映した相対確信度を求め、この値が高い分類スコア算出手段を推測することにより、分類スコア算出手段毎の分類スコアのみから個々の分類スコア算出手段の出力の確信度を予測するよりも精度が高く、的確な分類スコア算出手段の選別を可能とし、結果として精度の高い分類結果を得ることができる。以下図面と共に、本発明の実施の形態を説明する。本発明は、複数の分類スコア算出手段が出力する分類スコアを全て入力し、各分類スコア算出手段の相対確信度を識別問題として予測するものである。図1は、本発明の一実施の形態におけるデータ分類装置の構成を示す。同図に示すデータ分類装置10は、入力部11、分類スコア算出制御部12、複数の分類スコア算出手段13、相対確信度算出部14、データクラス決定部15、メモリ16、分類スコア記憶部17、算出パラメータ記憶部18、相対確信度記憶部19、クラス群番号記憶部20から構成され、入力部11には処理対象記憶部1、キーボード2が接続され、出力部15にはディスプレイ3が接続されている。処理対象記憶部1は、文書等の処理対象が格納されているデータベースであり、入力部11により読み出される。メモリ16は、入力部11によって入力された処理対象が格納される。分類スコア記憶部18は、後述するロジスティック回帰モデルにおけるモデルパラメータ推定手順によって予め求められていた相対確信度算出パラメータが格納される。相対確信度記憶部19は、相対確信度算出部14によって求められた相対確信度が格納される。クラス番号記憶部20は、相対確信度算出部14で入力された上位N個の分類スコアに対応するクラス番号が格納される。入力部11は、処理対象記憶部1から処理対象データを読み込み、メモリ16に格納すると共に、キーボード2から入力された分類スコア算出手段13の数及び分類先であるクラス数を取得し、分類スコア算出制御部12に渡す。分類スコア算出制御部12は、メモリ16から処理対象データの特徴量を入力する分類スコア算出手段13を決定し、分類スコアを算出させる。分類スコア算出手段13は、入力データが複数のクラスのそれぞれに属する事後確率あるいは尤もらしさである尤度あるいは分離超平面からの距離などの分類スコアを算出し、分類スコア記憶部17に格納する。それぞれの分類スコア算出手段13は、分類手法または構成要素や特徴が互いに異なる。例えば、データの特徴ベクトルとクラスラベルの同時確率分布をモデル化し、ベイズ則に基づいてクラス事後確率を直接モデル化することで、データのクラスラベルを推定する生成アプローチ、クラスの事後確率を直接モデル化する識別アプローチなどがある。相対確信度算出部14は、分類スコア記憶部17に格納されている全ての分類スコアから、算出パラメータ記憶部18に格納されている相対確信度算出パラメータを用いて、各分類スコア算出手段について上位N個N≧1に対応するクラスあるいはクラス群の中に正解のクラスがあり、かつ、他の分類スコア算出手段の上位N個に対応するクラスあるいはクラス群の中には正解のクラスがない確率を合わす相対確信度を算出し、相対確信度記憶部19に格納する。データクラス決定部15は、相対確信度記憶部19から相対確信度を取得し、最も高い相対確信度を示した分類スコア算出手段の分類スコアに基づいて入力データの属するクラスあるいはクラス群を決定し、出力する。図2は、本発明の一実施の形態におけるデータ分類装置の処理のフローチャートであり、入力データがいずれかに属するクラス群の数がN≧1の場合として説明する。ステップ101入力部11は、処理対象記憶部1から処理対象である入力データをメモリ16上に読み込む。ステップ102入力部11は、キーボード2から入力された分類スコア算出手段13の数nと、クラス数Kを取得し、分類スコア算出制御部12に渡す。ステップ103分類スコア算出制御部12は、分類スコア算出手段13の番号iを1に初期化するi=1。ステップ104分類スコア算出制御部12は、分類スコア算出手段13の番号iがi≦nであればステップ105に移行し、そうでなければステップ110へ移行する。ステップ105分類スコア算出制御部12は、メモリ14に格納されている入力データWの特徴を第i番目の分類スコア算出手段13iに入力し、入力データがクラスCk事後確率あるいは尤度あるいは分離超平面からの距離などで、値が大きいほど対応するクラスへ属する確率が高いことを表すを算出する。算出する方法としては、文献1上田修功、斉藤和巳、多重トピックテキストの確率モデルテキストモデル研究の最前線1,情報処理学会、会誌情報処理45巻2号,pp184190,2004年2月に記載されているナイーブベイズという方法を用いてもよい。算出された分類スコアを分類スコア記憶部17に格納する。ステップ106第i分類スコア算出手段13iの上位N個の分類スコアに対応するクラス群hiをクラス群番号記憶部20に格納する。ステップ107分類スコア算出手段13iの番号iをi1としてステップ104に戻る。ステップ110分類スコア記憶部17から上記入力データWが各クラスに属する分類スコアを読み込んで全分類スコア算出手段13の上位N1をLmm=1,...,N1とし、算出パラメータ記憶部18から相対確信度パラメータを読み込み、次式により第i番目の分類スコア算出手段13iの相対確信度Piを求め、相対確信度記憶部19に格納する。式1、2は、多クラスのロジスティック回帰式である。算出パラメータを求める場合は、文献2CMビショップ,PatternRecognitionandMachineLearningを説明変数とし、唯一の分類スコア算出手段のみが上位N個に対応するクラスあるいはクラス群の中に正解があり、他の分類スコア算出手段には無い場合において、正解があった分類スコア算出手段13iに対応する要素のみが1で、それ以外が0となる目的変数ベクトルn次元ベクトルを定義する。目的変数ベクトルが定義できるデータ説明変数と目的変数のみを学習データとして最尤推定によりロジスティック回帰パラメータを求め、これを相対確信度を算出するための算出パラメータとしてもよい。ステップ111相対確信度記憶部19から各分類スコア算出手段13の相対確信度Pii=1,...,nを読み込み、最大の相対確信度の分類スコア算出手段を選択する。ステップ112上記選択した分類スコア算出手段が出力した上位N個の分類スコアに対応するクラス群hをクラス群番号記憶部20から読み込み、これを入力データがいずれかに属するクラス群として出力する。なお、上記のデータ分類装置の各構成要素の動作をプログラムとして構築し、データ分類装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更応用が可能である。"