(57)【要約】【課題】データ分類装置において、尤度を線形結合し、統合して分類結果を得る場合よりも、精度がより高い分類結果を得ることができるデータ分類装置を提供することを目的とする。【解決手段】データ分類装置において、尤度算出手段が示す尤度に基づいて、上記尤度算出手段が出力する確信度を予測し、この予測した確信度の高い尤度算出手段が出力した尤度に対応するクラスをそのまま上記入力データのクラスとして求め、または、予測した確信度の高い尤度算出手段が出力した尤度に高い重みを付けて、他の尤度算出手段が出力した尤度と統合し、入力データのクラスを求める。【選択図】図１−１
2010170280.tif 000002
【特許請求の範囲】
【請求項１】
所定の入力データをクラスへ分類するデータ分類装置において、
上記所定の入力データが複数のクラスのそれぞれに属することの尤もらしさである尤度を算出する尤度算出手段であって、しかも分類手法または構成要素や特徴が互いに異なる複数の尤度算出手段と；
上記所定の入力データについて、上記複数の尤度算出手段のうちの１つの尤度算出手段が算出した複数の尤度のうちで、最大の尤度である最大尤度に対応するクラスが、入力データに対する正しいクラスであることを示す確からしさである確信度を算出する確信度算出手段と；
各尤度算出手段のそれぞれが出力した最大尤度に対応するクラス、または、各尤度算出手段のそれぞれが出力した最大尤度を統合した結果である最大尤度統合結果に対応するクラスを、上記入力データの属するクラスであると決定するデータクラス決定手段と；
を有することを特徴とするデータ分類装置。
【請求項２】
請求項１において、
上記データクラス決定手段は、複数の上記最大尤度のうちで最も数値が大きな上記最大尤度に対応するクラスを、上記入力データの属するクラスであると決定する手段であることを特徴とするデータ分類装置。
【請求項３】
請求項１において、
上記データクラス決定手段は、上記尤度算出手段の確信度の大きさに応じて、尤度を重み付け加算することによって、上記最大尤度を求め、この求めた最大尤度が最も高い最大尤度に対応するクラスが、上記入力データの属するクラスであると決定する手段であることを特徴とするデータ分類装置。
【請求項４】
所定の入力データをクラスへ分類するデータ分類方法において、
上記所定の入力データが複数のクラスのそれぞれに属することの尤もらしさである尤度を算出し、記憶手段に記憶する尤度算出段階であって、しかも互いに異なる複数の分類手法または構成要素や特徴で分類する尤度算出段階と；
上記所定の入力データについて、上記複数の分類手法または構成要素や特徴のうちの１つの分類手法または構成要素や特徴で算出した複数の尤度のうちで、最大の尤度である最大尤度に対応するクラスが、入力データに対する正しいクラスであることを示す確からしさである確信度を算出し、記憶装置に記憶する確信度算出段階と；
各分類手法または構成要素や特徴のそれぞれで出力した最大尤度に対応するクラス、または、各分類手法または構成要素や特徴のそれぞれで出力した最大尤度を統合した結果である最大尤度統合結果に対応するクラスを、上記入力データの属するクラスであると決定するデータクラス決定段階と；
を有することを特徴とするデータ分類方法。
【請求項５】
請求項１〜請求項３のいずれか１項記載のデータ分類装置を構成する各手段としてコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力データを分類する装置に関し、特に、複数の尤度算出手段を具備し、この結果を統合し、より精度の高い分類を行う装置に関する。
【背景技術】
【０００２】
入力データを分類する際に、複数の尤度算出手段の出力を同時に用いる方法として、各尤度算出手段が出力する尤度（入力データが各クラスへ属する尤度）の対数を取った対数尤度を線形結合して統合し、この統合された対数尤度に基づいて分類する方法が知られている（たとえば、非特許文献１参照）。各尤度算出手段の信頼性の相対関係が一定であれば、このような線形結合による統合は妥当性があり、広く用いられている。
【０００３】
なお、上記線形結合による統合は、たとえば尤度算出手段Ａが、尤度算出手段Ｂよりも信頼性が高ければ、尤度算出手段Ａの出力の重みを高くして統合することである。
【０００４】
つまり、尤度算出手段が出力する対数尤度を、最大エントロピー原理に基づいて、線形結合し、事後確率を求めることによって分類する。
【０００５】
なお、上記「尤度」は、「もっともらしさ」であり、たとえば「確率」は「尤度」であると言える。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】藤野昭典、上田修功、斉藤和巳著「最大エントロピー原理に基づく付加情報の効果的な利用によるテキスト分類」情報処理学会論文誌vol.47,No.10、pp.2929-2937、２００６年
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記従来技術のように、各尤度算出手段が出力する尤度（または対数を取った対数尤度）を線形結合し、統合し、この統合された尤度（対数尤度）に基づいて分類する方法では、次の問題がある。
【０００８】
たとえば、尤度算出手段Ａが「野球」であると判断し、尤度算出手段Ａによる分類手法とは異なる分類手法を採用している尤度算出手段Ｂが「サッカー」であると判断し、入力データの真のクラスが「野球」であると判断した場合、尤度を線形結合したので、尤度算出手段Ｂによる間違った結果に影響され、「サッカー」であると誤って判断する可能性がある。すなわち、個々の尤度算出手段の長所を弱め、結果として、正しい分類結果が得られない現象がよく起きるという問題がある。
【０００９】
このような問題は、各尤度算出手段の信頼性が一定であると仮定していることに起因している。
【００１０】
本発明は、尤度を線形結合し、統合して分類結果を得る場合よりも、精度がより高い分類結果を得ることができるデータ分類装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、データ分類装置において、尤度算出手段が示す尤度に基づいて、上記尤度算出手段が出力する確信度を予測し、この予測した確信度の高い尤度算出手段が出力した尤度に対応するクラスをそのまま上記入力データのクラスとして求め、または、予測した確信度の高い尤度算出手段が出力した尤度に高い重みを付けて、他の尤度算出手段が出力した尤度と統合し、入力データのクラスを求める。
【発明の効果】
【００１２】
本発明によれば、データ分類装置において、尤度を線形結合し、統合して分類結果を得る場合よりも、精度がより高い分類結果を得ることができるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１−１】本発明の実施例１であるデータ分類装置１００を示すブロック図である。
【図１−２】データ分類装置１００の変形例であるデータ分類装置１００ａを示すブロック図である。
【図２】本発明の実施例２であるデータ分類装置２００を示すハードウェア構成図である。
【図３】上記実施例における処理を示すフローチャートである。
【図４】実施例２における処理プログラムを示すフローチャートである。
【図５】個々の尤度算出手段の分類精度を示す図である。
【図６】比較として、各尤度算出手段が出力する尤度を線形結合して得られる尤度算出手段のうちで、最も精度が高い場合の結果を示す図である。
【図７】Ｑ＆Ａ文書を対象としたときの分類精度を示す図である。
【図８】ブログ記事を対象としたときの分類精度を示す図である。
【図９】線形結合法の結合係数と精度との関係を示す図である。
【図１０】線形結合法の結合係数と精度との関係を示す図である。
【図１１】分類器出力の正誤組合せ毎の精度（Ｑ＆Ａ文書）を示す図である。
【図１２】分類器出力の正誤組合せ毎の精度（ブログ文書）を示す図である。
【図１３】データクラス決定の動作を示すフローチャートである。
【発明を実施するための形態】
【００１４】
発明を実施するための形態は、以下の実施例である。
【実施例１】
【００１５】
図１−１は、本発明の実施例１であるデータ分類装置１００を示すブロック図である。
【００１６】
データ分類装置１００は、入力データをＷとし、出力データが属するクラスｈ（ｈ＝１，…，Ｋ）を出力する。
【００１７】
データ分類装置１００は、第１尤度算出手段ＬＣ１と、最大尤度のクラス決定手段ＣＤ１と、第１尤度算出手段ＬＣ１の確信度算出手段ＰＣ１と、第２尤度算出手段ＬＣ２と、最大尤度のクラス決定手段ＣＤ２と、第２尤度算出手段ＬＣ２の確信度算出手段ＰＣ２と、データクラスタ決定手段１０と、出力手段２０とを有する。
【００１８】
なお、２つの尤度算出手段は、分類手法が互いに異なるか、同じ分類手法を用いながらも、用いる構成要素や特徴が互いに異なる。つまり、たとえば、第１尤度算出手段ＬＣ１と、第２尤度算出手段ＬＣ２とは、分類手法が互いに異なるか、構成要素または特徴が互いに異なる。
【００１９】
すなわち、第１尤度算出手段ＬＣ１、第２尤度算出手段ＬＣ２は、所定の入力データが複数のクラスのそれぞれに属することの尤もらしさである尤度を算出する尤度算出手段であって、しかも分類手法または構成要素や特徴が互いに異なる複数の尤度算出手段の例である。上記分類手法または構成要素や特徴は、概念ベース法を用いた尤度算出手段による分類手法または構成要素や特徴、ナイーブベイズ尤度算出手段による分類手法または構成要素や特徴等である。
【００２０】
確信度算出手段ＰＣ１、ＰＣ２は、所定の入力データについて、上記複数の尤度算出手段のうちの１つの尤度算出手段が算出した複数の尤度のうちで、最大の尤度である最大尤度に対応するクラスが、入力データに対する正しいクラスであることを示す確からしさである確信度を算出する確信度算出手段の例である。
【００２１】
確信度算出手段ＰＣ１は、確信度確信度Ｐｒ１を出力する。確信度算出手段ＰＣ２は、確信度確信度Ｐｒ２を出力する。
【００２２】
データクラスタ決定手段１０は、各尤度算出手段のそれぞれが出力した最大尤度に対応するクラス、または、各尤度算出手段のそれぞれが出力した最大尤度を統合した結果である最大尤度統合結果に対応するクラスを、上記入力データの属するクラスであると決定するデータクラス決定手段の例である。
【００２３】
次に、上記実施例における処理過程について説明する。なお、確信度算出において必要となるパラメータの算出過程は、後述する。
【００２４】
なお、クラスが２つ以上選択された場合や、尤度算出手段が２つ以上選択された場合、これら選択されたもののうちの１つを確実に決定するために、予め割り振った添え字の最も小さなクラスや尤度算出手段を選択する。なお、この場合、予め割り振った添え字の最も大きなクラスや尤度算出手段を選択するようにしてもよい。
【００２５】
まず、図１−１に示すように、尤度算出手段が２つ設けられている場合、つまり、第１尤度算出手段ＬＣ１、第２尤度算出手段ＬＣ２が設けられている場合について説明する。
【００２６】
（１）第１尤度算出手段ＬＣ１に関連して、下記の処理を行う。
【００２７】
（ａ）第１尤度算出手段ＬＣ１は、分類対象である入力データの特徴を入力する。上記入力データは文章等であり、上記入力データの特徴は、上記文章に含まれている単語または、単語に付与されているベクトル等である。
【００２８】
また、第１尤度算出手段ＬＣ１は、上記入力データが複数のクラスのそれぞれに属する尤度Ｐ１（Ｗ｜Ｃｋ）（ｋ＝１，…，Ｋ）を算出する。なお、Ｗは、入力データであり、Ｃｋは、求めるクラスである。
【００２９】
つまり、尤度を算出する場合、各クラスにおいて、入力データの特徴が出現する確率の積を、上記入力データＷが当該クラスに属する尤度であると判断する。なお、上記入力データＷの例は，文書であり、上記入力データの特徴ｘの例は、「単語」または「単語に付与したベクトル」である。
【００３０】
すなわち、ある入力文書に単語「ホームラン」が含まれている場合、クラス「野球」における「ホームラン」の出現確率がたとえば１／５であると予め定められ、クラス「サッカー」における「ホームラン」の出現確率がたとえば１／２０であると予め定められているとすると、上記入力データの特徴が出現する確率の積は、（１／５）×（１／２０）＝１／１００である。上記確率の積を尤度とし、この尤度は、クラスに属する「尤もらしさ」を示すものである。
【００３１】
なお、入力データの特徴が当該クラスに属する尤度であると判断すれば、非特許文献３、非特許文献４に記載されているナイーブべイズモデルという方法を使用するようにしてもよい。
【００３２】
上記非特許文献３は、「上田修功、斉藤和巳著「多重トピックテキストの確率モデル−テキストモデル研究の最前線−（１）」情報処理学会、会誌「情報処理」４５巻２号、pp.184-190、２００４年２月」である。上記非特許文献４は、「上田修功、斉藤和巳著「多重トピックテキストの確率モデル−テキストモデル研究の最前線−（２）」情報処理学会、会誌「情報処理」４５巻３号、pp.282-289、２００４年３月」である。
【００３３】
（ｂ）最大尤度のクラス決定手段
最大尤度のクラス決定手段ＣＤ１は、入力データが１つのクラスＣｋに属す尤度である尤度Ｐ１（Ｗ｜Ｃｋ）のうちで、最大の尤度に対応するクラスを、ｈ１とする。
【００３４】
（ｃ）第１尤度算出手段ＬＣ１の確信度算出手段ＰＣ１が、第１尤度算出手段ＬＣ１が算出した尤度Ｐ１（Ｗ｜Ｃｋ）を入力し、第１尤度算出手段ＬＣ１の確信度算出手段ＰＣ１が、以下のようにして確信度Ｐｒ１を算出する。
【００３５】
まず、最大の尤度である最大尤度を、Ｌ１１とし、２番目に大きな尤度を、Ｌ２１とする。ここで、第１尤度算出手段ＬＣ１用に予め算出した確信度推定パラメータβ１（＝｛β０１，β１１，β２１｝）を使用して、次の式（Ｆ１）によって、確信度Ｐｒ１を求める。
【００３６】
Ｐｒ１＝ｅｘｐＺ／（１＋ｅｘｐＺ）    …式（Ｆ１）
ここで、Ｚ＝β０１＋β１１Ｌ１１＋β２１Ｌ２１である。
【００３７】
なお、上記確信度Ｐｒ１を算出する場合、非特許文献２に記載の方法を使用するようにしてもよい。上記非特許文献２は、「高橋和子、高村大地、奥村学著「複数の分類スコアを用いたクラス所属確率の推定」自然言語処理学会論文誌、Vol.15,No.2、pp.3-38、２００８年」である。
【００３８】
（２）第２尤度算出手段ＬＣ２に関連する下記の処理を行う。
【００３９】
（ａ）第２尤度算出手段ＬＣ２が、分類対象である入力データの特徴を入力し、入力データが各クラスに属する尤度Ｐ２（Ｗ｜Ｃｋ）（ｋ＝１，…，Ｋ）を算出する。つまり、尤度を算出する場合、各クラスにおいて、入力データの特徴（または，データの特徴）が出現する確率の積を、上記入力データの特徴が当該クラスに属する尤度であると判断する。
【００４０】
なお、この場合、非特許文献３、非特許文献４に記載されているナイーブベイズモデルという方法を使用するようにしてもよい。
【００４１】
（ｂ）最大尤度のクラス決定手段ＣＤ２が、上記尤度Ｐ２（Ｗ｜Ｃｋ）の中で最大の値を示すクラスを、ｈ２とする。
【００４２】
（ｃ）第２尤度算出手段ＬＣ２の確信度算出手段ＰＣ２が、第２尤度算出手段ＬＣ２による尤度Ｐ２（Ｗ｜Ｃｋ）を入力し、第２尤度算出手段ＬＣ２の確信度算出手段ＰＣ２が、次のようにして、確信度Ｐｒ２を算出する。まず、最大の尤度を、Ｌ２１とし、２番目に大きな尤度を、Ｌ２２とする。ここで、第２尤度算出手段ＬＣ２用に予め算出した確信度推定パラメータβ２（＝｛β０２，β１２，β２２｝）を使用し、次の式（Ｆ２）によって、確信度Ｐｒ２を求める。
【００４３】
Ｐｒ２＝ｅｘｐＺ／（１＋ｅｘｐＺ）    …式（Ｆ２）
ここで、Ｚ＝β０２＋β１２Ｌ１２＋β２２Ｌ２２  である。
【００４４】
なお、上記確信度Ｐｒ２を算出する場合、非特許文献２に記載の方法を使用するようにしてもよい。
【００４５】
（３）本発明の核となる下記の方法に基づいて、入力データが属するクラスｈを、データクラス決定手段１０が決定し、出力手段２０が、上記決定されたクラスｈを出力する。
【００４６】
（ａ）尤度算出手段ＬＣｉ（ｉ＝１、２）が最大の尤度を示すクラスｈｉ（ｉ＝１、２）、尤度算出手段ＬＣｉの確信度Ｐｒｉ（ｉ＝１、２）を、データクラス決定手段１０が、入力し、確信度Ｐｒｉの中で最大の確信度を与える尤度算出手段を選択し、この選択された尤度算出手段が算出した最大尤度に対応するクラスを、入力データの属するクラスｈとする。
【００４７】
（ｂ）出力手段２０は、上記入力データの属するクラスｈを出力する。
【００４８】
図１−２は，データ分類装置１００の変形例であるデータ分類装置１００ａを示すブロック図である。
【００４９】
データ分類装置１００ａは、尤度算出手段がｎ個（３≦ｎ）、設けられている場合、つまり、第１尤度算出手段ＬＣ１〜ＬＣｎが設けられている場合を示す例である。次に、データ分類装置１００ａについて説明する。
【００５０】
（１）第１尤度算出手段ＬＣ１に関連する下記の処理を行う。
【００５１】
（ａ）第１尤度算出手段ＬＣ１が、分類対象である入力データの特徴（単語）を入力し、第１尤度算出手段ＬＣ１が、上記入力データが各クラスに属する尤度Ｐ１（Ｗ｜Ｃｋ）（ｋ＝１，…，Ｋ）を算出する。尤度を算出する場合、各クラスにおいて、入力データの特徴（または，データの特徴）が出現する確率の積を、上記入力データの特徴が当該クラスに属する尤度であると判断する。なお、この場合、非特許文献３、非特許文献４に記載されているナイーブべイズモデルという方法を使用するようにしてもよい。
【００５２】
（ｂ）最大尤度のクラス決定手段ＣＤ１が、上記尤度Ｐ１（Ｗ｜Ｃｋ）の中で最大の値を示すクラスを、ｈ１とする。
【００５３】
（ｃ）第１尤度算出手段ＬＣ１が算出した尤度Ｐ１（Ｗ｜Ｃｋ）を、第１尤度算出手段ＬＣ１の確信度算出手段ＬＣ１が入力し、以下のように、確信度Ｐｒ１を算出する。
【００５４】
まず、最大の尤度を、Ｌ１１とし、２番目に大きな尤度を、Ｌ２１とする。ここで、第１尤度算出手段ＬＣ１用に予め算出した確信度推定パラメータβ１（＝｛β０１，β１１，β２１｝）を用いて、次の式（Ｆ３）によって、第ｉ尤度算出手段ＬＣｉの確信度Ｐｒｉを求める。
【００５５】
Ｐｒ１＝ｅｘｐＺ／（１＋ｅｘｐＺ）    …式（Ｆ３）
ここで、Ｚ＝β０１＋β１１Ｌ１１＋β２１Ｌ２１である。
【００５６】
なお、確信度Ｐｒ１を算出する場合、非特許文献２に記載の方法を用いてもよい。
【００５７】
（２）尤度算出手段ＬＣｉ（ｉ＝２，…，ｎ）に関連する下記の処理を行う。
【００５８】
（ａ）分類対象である入力データの特徴を、尤度算出手段ＬＣｉに入力し、入力データが各クラスに属する尤度Ｐｉ（Ｗ｜Ｃｋ）（ｋ＝１，…，Ｋ）を算出する。尤度を算出する場合、各クラスにおいて、入力データの特徴（または，データの特徴）が出現する確率の積を、上記入力データの特徴が当該クラスに属する尤度であると判断する。なお、この場合、非特許文献３、非特許文献４に記載されているナイーブベイズモデルという方法を使ってもよい。
【００５９】
（ｂ）上記尤度Ｐｉ（Ｗ｜Ｃｋ）の中で最大の値を示すクラスを、ｈｉとする。
【００６０】
（ｃ）上記尤度算出手段ＬＣｉによる尤度Ｐｉ（Ｗ｜Ｃｋ）を、尤度算出手段ＬＣｉの確信度算出手段ＰＣｉに入力し、次のようにして、確信度Ｐｒｉを算出する。
【００６１】
まず、最大の尤度を、Ｌ１ｉとし、２番目に大きな尤度を、Ｌ２ｉとする。ここで、予め尤度算出手段ＬＣｉ用に算出した確信度推定パラメータβｉ（＝｛β０ｉ，β１ｉ，β２ｉ｝）を用いて、次の式（Ｆ４）によって、確信度Ｐｒｉを求める。
【００６２】
Ｐｒｉ＝ｅｘｐＺ／（１＋ｅｘｐＺ）    …式（Ｆ４）
ここで、Ｚ＝β０ｉ＋β１ｉＬ１ｉ＋β２ｉＬ２ｉである。
【００６３】
なお、確信度Ｐｒ１を算出する場合、非特許文献２に記載の方法を用いてもよい。
【００６４】
（３）本発明の核となる次の方法に基づいて、入力データが属するクラスｈを、データクラス決定手段３０が決定し、この決定されたクラスｈを、出力手段４０が出力する。
【００６５】
（ａ）上記尤度算出手段ＬＣｉが、最大の尤度を示すクラスｈｉ（ｉ＝１，…，２）と、尤度算出手段ＬＣｉの確信度Ｐｒｉ（ｉ＝１，…，２）とを入力し、確信度Ｐｒｉの中で最大の確信度を与える尤度算出手段を選択し、この選択された尤度算出手段が最大の尤度を示すクラスを、入力データの属するクラスｈであると判断する。
【００６６】
（ｂ）出力手段４０が、上記ｈを入力データのクラスとして出力する。
【００６７】
次に、確信度算出に必要となるパラメータの算出過程について説明する。なお、以下の処理において、非特許文献２に記載の方法を用いてもよい。
【００６８】
ここでは、ある尤度算出手段と、正しいクラスが分かっているｎ個（３≦ｎ）の入力データとが用意されている。
【００６９】
（１）入力データを１つ選び、この入力データＷの尤度Ｐ（Ｗ｜Ｃｋ）を算出する。
【００７０】
（２）最大の尤度を、Ｌ１とし、２番目に大きな尤度を、Ｌ２とし、正誤情報をｙとする。この正誤情報ｙは、最大の尤度を示すクラスが正しいクラスであれば、１を取り、誤っていれば、０を取る。これらを｛Ｌ１，Ｌ２，ｙ｝として、訓練サンプルデータ集合へ加える。
【００７１】
（３）上記手続きを、全ての入力データについて実行する。
【００７２】
（４）訓練サンプルデータ集合において、ロジット・モデルを示す下記式（Ｆ５）を用い、正誤情報ｙを、説明変数Ｌ１、Ｌ２によって表す。
【００７３】
ｙ＝ｅｘｐＺ／（１＋ｅｘｐＺ）    …式（Ｆ５）
ここで、Ｚ＝β０＋β１Ｌ１＋β２Ｌ２    である。
【００７４】
なお、β０は、定数であり、β１、β２は、偏回帰係数であり、これらが求めるべきパラメータである。訓練サンプルデータ集合について、フィットするように、最尤法（最も尤もらしいものを選ぶ方法）等を用いて、適切な｛β０，β１，β２｝を得る。実際の確信度算出では、確信度算出手段に入力されたＬ１、Ｌ２の値を、上記式（Ｆ３）に代入し、得られた正誤情報ｙの推定値を確信度とする。
【００７５】
つまり、正誤情報ｙを０または１として、βを推定し、βが推定された後に、正誤情報ｙを推定し、この推定された正誤情報ｙが確信度である。確信度として推定された正誤情報は、０〜１の値をもつ。
【００７６】
実施例１では、１つの尤度算出手段について、１つの確信度算出式を適用しているが、最大の尤度を表すクラス毎に、別々の確信度算出式を導出する。つまり、実施例１では、「野球」、「サッカー」…等、全てのクラス共通で、確信度の算出式を求めるが、実施例１において、「野球」、「サッカー」のそれぞれについて、確信度の算出式を別々に求めるようにしてもよい。
【実施例２】
【００７７】
図２は、本発明の実施例２であるデータ分類装置２００を示すハードウェア構成図である。
【００７８】
データ分類装置２００は、ＣＰＵ５１と、メモリ５２と、ディスプレイ５３と、キーボード５４と、処理プログラム５５と、処理対象記憶手段５６と、ＯＳ５７と、算出パラメータ記憶手段５８と、確信度記憶手段５９と、クラス番号記憶手段６０とを有する。
【００７９】
ＣＰＵ５１には、メモリ５２、ディスプレイ５３、キーボード５４、処理プログラム５５、処理対象記憶手段５６、ＯＳ５７、算出パラメータ記憶手段５８、確信度記憶手段５９、クラス番号記憶手段６０が接続されている。
【００８０】
図３は、上記実施例における処理を示すフローチャートである。
【００８１】
Ｓ１で、処理対象記憶手段５６から、処理対象である「入力データ」を、メモリ上に読み込む。Ｓ２で、尤度算出手段の数ｎを、キーボードを介して、入力する。Ｓ３で、尤度算出手段番号ｉを、１に初期化する。Ｓ４で、尤度算出手段番号ｉがｉ≦ｎであれば、Ｓ５に進み、そうでなければ、Ｓ１１へ進む。
【００８２】
Ｓ５で、入力データＷの特徴を、第ｉ尤度算出手段ＬＣｉに入力し、入力データがクラスＣｋ（ｋ＝１，…，Ｋ）に属する尤度Ｐｉ（Ｗ｜Ｃｋ）（ｋ＝１，…，Ｋ）を算出する。尤度算出では、各クラスにおいて、入力データの特徴（または，データの特徴）が出現する確率の積を、入力データＷの特徴が当該クラスに属する尤度であると判断する。なお、非特許文献３、非特許文献４に記載されているナイーブべイズモデルという方法を使用するようにしてもよい。
【００８３】
Ｓ６で、上記入力データＷが各クラスに属する尤度Ｐｉ（Ｗ｜Ｃｋ）を入力し、第ｉ尤度算出手段ＬＣｉの確信度Ｐｒｉを次のようにして算出する。
【００８４】
まず、最大の尤度をＬ１ｉとし、２番目に大きな尤度を、Ｌ２ｉとする。
【００８５】
（ａ）第ｉ尤度算出手段ＬＣｉ用の確信度算出パラメータβｉ（＝｛β０ｉ，β１ｉ，β２ｉ｝）を、算出パラメータ記憶手段５８から読み込み、次の式（Ｆ６）によって、確信度Ｐｒｉを求める。
【００８６】
Ｐｒｉ＝ｅｘｐＺ／（１＋ｅｘｐＺ）    …式（Ｆ６）
ここで、Ｚ＝β０ｉ＋β１ｉＬ１ｉ＋β２ｉＬ２ｉである。
【００８７】
なお、Ｓ６で確信度Ｐｒｉを求める場合、非特許文献２に記載の方法を使用するようにしてもよい。
【００８８】
Ｓ７で、確信度Ｐｒｉを、確信度記憶手段５９に保存する。Ｓ８で、上記入力データＷが各クラスに属する尤度Ｐｉ（Ｗ｜Ｃｋ）の中で最大の値を示すクラスをｈｉとする。Ｓ９で、上記クラスｈｉを、クラス番号記憶手段６０に保存する。Ｓ１０で、尤度算出手段の番号ｉを、ｉ＋１として、Ｓ４へ戻る。
【００８９】
Ｓ１１で、入力データが属すべきクラスを決定する。つまり、確信度記憶手段５９から各尤度算出手段の確信度Ｐｒｉ（ｉ＝１，…，ｎ）を引き出し、これらを互いに比較し、最大の確信度を出力した尤度算出手段を選択し、尤度算出手段が最大の尤度を示すクラス番号を、クラス番号記憶手段６０から引き出し、入力データが属するクラスｈであるとする。
【００９０】
Ｓ１２で、上記ｈを、入力データのクラスとして出力する。
【実施例３】
【００９１】
本発明の実施例３であるデータ分類装置３００の構成は、図２に示すデータ分類装置２００の構成と基本的には同じである。
【００９２】
図４は、実施例３であるデータ分類装置３００の動作を示すフローチャートである。
【００９３】
Ｓ２１で、処理対象記憶手段５６から処理対象である「入力データ」を、メモリ上に読み込む。Ｓ２２で、尤度算出手段の数ｎを、キーボードを介して、入力する。Ｓ２３で、尤度算出手段の番号ｉを、１に初期化する。
【００９４】
Ｓ２４で、尤度算出手段番号ｉがｉ≦ｎであれば、Ｓ２５に進み、そうでなければ、Ｓ３１へ進む。Ｓ２５で、入力データＷの特徴ｘを、第ｉ尤度算出手段ＬＣｉに入力し、入力データがクラスＣｋ（ｋ＝１，…，Ｋ）に属する尤度Ｐｉ（ｘ｜Ｃｋ）（ｋ＝１，…，Ｋ）を算出する。尤度を算出する場合、各クラスにおいて、入力データＷの特徴ｘ（または，データの特徴）が出現する確率の積を、上記入力データの特徴が当該クラスに属する尤度であると判断する。なお、非特許文献３、非特許文献４に記載されているナイーブべイズモデルという方法を使用するようにしてもよい。
【００９５】
Ｓ２６で、上記入力データＷが各クラスに属する尤度Ｐｉ（Ｗ｜Ｃｋ）の中で最大の値を示すクラスを、ｈｉとする。Ｓ２７で、上記クラスｈｉを、クラス番号記憶手段６０に保存する。
【００９６】
Ｓ２８で、上記入力データＷが各クラスに属する尤度Ｐｉ（Ｗ｜Ｃｋ）を入力し、第ｉ尤度算出手段ＬＣｉの確信度Ｐｒｉを、次のようにして算出する。
【００９７】
まず、最大の尤度をＬ１ｉとし、２番目に大きな尤度を、Ｌ２ｉとする。
【００９８】
（ａ）第ｉ尤度算出手段ＬＣｉ用の確信度算出パラメータβｉ（＝｛β０ｉ，β１ｉ，β２ｉ｝）を、算出パラメータ記憶手段５８から読み込み、次の式（Ｆ７）によって、確信度Ｐｒｉを求める。
【００９９】
Ｐｒｉ＝ｅｘｐＺ／（１＋ｅｘｐＺ）    …式（Ｆ７）
ここで、Ｚ＝β０ｉ＋β１ｉＬ１ｉ＋β２ｉＬ２ｉである。
【０１００】
なお、上記確信度Ｐｒｉを求める場合、非特許文献２に記載の方法を使用するようにしてもよい。
【０１０１】
Ｓ２９で、確信度Ｐｒｉを、確信度記憶手段５９に保存する。Ｓ３０で、尤度算出手段の番号ｉを、ｉ＋１として、Ｓ２４へ戻る。
【０１０２】
Ｓ３１で、入力データが属すべきクラスを決定する。つまり、確信度記憶手段５９から各尤度算出手段の確信Ｐｒｉ（ｉ＝１，…，ｎ）を引き出し、これらを互いに比較し、最大の確信度を与える尤度算出手段を選択し、この選択された尤度算出手段が最大の尤度示すクラスの番号を、クラス番号記憶手段６０から引き出し、入力データの属するクラスｈとする。
【０１０３】
Ｓ３２で、上記ｈを、入力データのクラスとして出力する。
【０１０４】
［実験結果］
文書データを、２８６クラス（Ｑ＆Ａサイトにおいて分類されたクラス）へ分類するときに、従来技術である対数尤度の線形結合を用いて２種類の尤度算出手段（尤度算出手段Ａ、尤度算出手段Ｂ）の出力を結合した場合と、上記実施例を用いて結合した場合とを比較実験したので、その結果を示す。
【０１０５】
なお、上記線形結合による統合は、たとえば尤度算出手段Ａが、尤度算出手段Ｂよりも信頼性が高ければ、尤度算出手段Ａの出力の重みを高くして統合することである。
【０１０６】
上記２種類の尤度算出手段は、いずれも、非特許文献３、非特許文献４に記載されているナイーブべイズモデルの考え方である「入力データの構成要素の独立性を仮定し、クラスにおいて入力データが生成する確率を、構成要素の生成確率の積で表す」を用いた尤度算出手段である。
【０１０７】
そして、一方の尤度算出手段（尤度算出手段Ａ）は、単語の出現回数を実際にカウントして、単語の生成確率を求める手段である。もう一方の尤度算出手段（尤度算出手段Ｂ）は、単語の特徴とクラスの特徴とを、べクトルで表し、単語の生成確率が、上記べクトル間のユークリッド２乗距離に応じて指数関数的に減少する（すなわち多次元正規分布に従う）と判断するモデルに基づいて算出する手段である。
【０１０８】
上記実験では、上記２８６クラスのいずれかのクラスが割り当てられている約３０万文書を用いた。そして、尤度算出手段の学習データと評価用データとに分割（４分割交差）し、学習用データで学習した尤度算出手段に評価用データを入力し、正しいクラスに分類できた割合を、「分類精度」として評価実験した。
【０１０９】
なお、上記４分割交差は、データを４分割し、その１つを評価用データ、他の３つを学習用データとし、学習データで学習した後、評価用データで評価し、これを全ての評価用データ（４つ）に対して行う手法である。
【０１１０】
図５は、個々の尤度算出手段の分類精度を示す図である。
【０１１１】
図５に示すように、個々の尤度算出手段の単体で得られる分類精度のうちで、高い方は、６３．６％である。
【０１１２】
次に、これら尤度算出手段を、実施例１と同じ方法で結合し、同様に評価を行った。
【０１１３】
図６は、比較として、各尤度算出手段が出力する尤度を線形結合して得られる尤度算出手段のうちで、最も精度が高い場合の結果を示す図である。
【０１１４】
図６から分かるように、従来例である対数尤度の線形結合を、様々な結合係数を用いて実施したときに、最大の分類精度を示す結合係数を用いた場合の分類精度は、６３．８％であり、個々の尤度算出手段単体で得られる分類精度のうちで高い方よりも０．２ポイントの精度向上を確認することができた。これに対して、上記実施例を適用した場合の分類精度は、６４．８％であり、従来例よりも１．２ポイントの精度向上を確認でき、従来技術と比較して顕著な効果を示した。以上の結果は、上記実施例による尤度算出手段構成方法が従来方法よりも優れていることを示している。
【０１１５】
上記実施例によれば、複数の尤度算出手段のうちで、最も確信度の高い結果を重要視して分類するので、各尤度算出手段の判断は、それぞれ尊重され、長所が失われずに、それぞれの長所を活かすことができ、高い分類結果を得ることができる。
【０１１６】
具体的には、対数尤度の線形結合を用いて、２種類の尤度算出手段の出力を結合した従来例と、上記実施例を用いて結合した場合とを比較実験し、効果を確認することができる。２種類の尤度算出手段は、いずれも非特許文献３、非特許文献４で示されているナイーブベイズモデルの考え方である「入力データの構成要素の独立性を仮定し、クラスにおいて入力データが生成する確率を、構成要素の生成確率の積で表す」を用いた尤度算出手段である。
【０１１７】
そして、一方の尤度算出手段（尤度算出手段Ａ）は、単語の出現回数を実際にカウントすることによって、単語の生成確率（尤度算出手段の前処理）を求める。もう一方の尤度算出手段（尤度算出手段Ｂ）は、単語の特徴とクラスの特徴とをベクトルで表し、単語の生成確率が上記ベクトル間のユークリッド２乗距離に応じて指数関数的に減少する（すなわち多次元正規分布に従う）とするモデルに基づいて算出し、実装する。
【０１１８】
上記実施例において、分類対象である入力データは、その特徴量がベクトルで表現できる対象であれば何でもよく、文書でも、図形でもよく、分類精度を向上させることができる。
【０１１９】
上記実施例の効果である入力データの分類精度を向上させるポイントは、図１−１のデータクラス決定手段１０、図１−２のデータクラス決定手段３０、図３のＳ１１、図４のＳ３１である。
【０１２０】
次に、上記実施例における「データクラス決定」の動作（Ｓ１１、Ｓ３１）について、詳細に説明する。
【０１２１】
上記確信度Ｐｃｉ（ｉ＝１，……，ｎ）から最大の値を示す添え字（すなわち尤度算出手段）をｉｍaｘとし、尤度算出手段ｉｍaｘにおいて最大の尤度を示したクラスラベルｈｉｍaｘを入力データが属するクラスレベルｈであるとする。
【０１２２】
ｉｍaｘ＝aｒｇ  ｍaｘＰｃｉ    …式（Ｆ８）
なお、上記式（Ｆ８）は、Ｐｃｉを最大にする添え字をｉｍａｘとする意味である。
【０１２３】
ｈ＝ｈｉｍaｘ    …式（Ｆ９）
図１３は、データクラス決定の動作を示すフローチャートである。
【０１２４】
上記実施例の有効性を検証するために、複数分類器が出力する対数尤度から線形結合により結合対数尤度ｌｏｇＰ’（Ｗ｜Ｃｋ）を求めて分類する方法（線形結合法）と比較した。対数尤度ｌｏｇＰ’（Ｗ｜Ｃｋ）は、係数α（ナイーブべイズ分類器の配分）を用いて
ｌｏｇＰ’（Ｗ｜Ｃｋ）＝（１−α）ｌｏｇＰＣＢ（Ｗ｜Ｃｋ）＋αｌｏｇＰＮＢ（Ｗ｜Ｃｋ）
によって算出する。ここでｌｏｇＰＣＢ（）とｌｏｇＰＮＢ（）とは、それぞれ概念べース法を用いた分類器、ナイーブべイズ分類器が出力する対数尤度を表す。結合係数αは［０，１］の範囲内で最も高い精度を示す場合の値を用い、提案手法と比較した。また、概念ベース法を用いた分類器とナイーブべイズ分類器とは、それぞれ「ＣＢ法単体」と表す。
【０１２５】
分類精度の評価は、交差検定（４分割）を用い、評価指標としては、適合率を採用する。以下、特にことわりが無い限り、適合率（Presision）を精度（Accuracy）と表記する。
【０１２６】
図７、図８は、それぞれＱ＆Ａ文書とブログ記事とを対象としたときの分類精度を示す図である。
【０１２７】
複数分類器の結合によって得られる精度が、単体の分類器で得られる精度（良い方）から、どの程度向上しているか（精度向上幅と記す）に着目すると、線形結合法が０．２〜０．５ポイントしか向上していないのに対し、実施例の手法では、１ポイント以上の精度向上を実現している。
【０１２８】
図９、図１０は、線形結合法の結合係数と精度との関係を示す図である。
【０１２９】
これらの図から、結合係数αを様々に変化させても、実施例には及ばないことが分かる。これらの結果は、実施例の手法の有効性を示すものである。
【０１３０】
次に、複数分類器の出力のタイプ別に精度を見る。出力のタイプは、単体分類器の最尤クラス（最も大きな尤度を示すクラス）の正誤によって、正解＋正解、正解＋不正解、不正解＋不正解、の３つを考え、分類対象毎に、図１１（Ｑ＆Ａ文書）と図１２（ブログ記事）に出カのタイプ別の精度をまとめた。
【０１３１】
図１１、図１２から分かるように、（正解＋正解）や（不正解＋不正解）の場合は、手法による差がほとんどない。大きな差が見られるのは、（正解＋不正解）のときである。例えばＱ＆Ａ文書を対象としたとき、線形結合法の精度が６７．７％であるのに対し、実施例の手法では、７４．４％である、また図１２（ブログ記事を対象）の場合も、（正解＋不正解）のときに、提案手法が線形結合法よりもかなり高い精度を示している。さらに、（正解＋不正解）においてＮＢ法が正解の場合、図１１、図１２に、それぞれ６８．２％と６５．０％とであり、ＮＢ法を選択すれば、単純に６８．２％と６５．０％との精度が達成できるので、線形結合法による精度向上の効果はほとんど無いことが分かる。これらの結果からも、提案手法による分類器の結合は有効であると言え、目的としていた「個々 の分類器の長所を活かした結合」がある程度実現できたと考える。
【０１３２】
一方の線形結合法では、（不正解＋不正解）のときに１％の精度で正解し、この点は実施例の手法よりも優れていると言える。しかし、全体で見たときには、提案手法に及ばない（図７、図８参照）。
【０１３３】
実験条件や分類手法または構成要素や特徴などについて、いくつかの検討を行った。まず、図７、図８に示した結果は、対数尤度を用いているが、事後確率（確率をすべてのクラスについて足し合わせると１になる）を用いて、同様の実験を行った。その結果、実施例の手法の精度は、それぞれ６４．８％、９０．２％であり、ほぼ同じか僅かに良くなることが確認できた。また、事後確率を用いると各分類器の事後確率の直接比較が可能になるので、「より高い事後確率を示したクラスに分類する」という結合方法を試した。この結果は、全ての場合において、ＮＢ法が示す事後確率がＣＢ法を上回り、分類精度は、ＮＢ法単体のときと同じであった。これは、事後確率の値が確信度合（期待精度）を精度良く表せていないためと考えられる。以上の検討からも、実施例の手法の有効性が確認できた。
【０１３４】
なお、上記実施例において、上記データクラス決定手段は、複数の上記最大尤度のうちで最も数値が大きな上記最大尤度に対応するクラスを、上記入力データの属するクラスであると決定する手段である。
【０１３５】
また、上記データクラス決定手段は、上記尤度算出手段の確信度の大きさに応じて、尤度を重み付け加算することによって、上記最大尤度を求め、この求めた最大尤度が最も高い最大尤度に対応するクラスが、上記入力データの属するクラスであると決定する手段である。
【０１３６】
上記実施例を方法の発明として把握することができる。つまり上記実施例は、所定の入力データをクラスへ分類するデータ分類方法において、上記所定の入力データが複数のクラスのそれぞれに属することの尤もらしさである尤度を算出し、記憶手段に記憶する尤度算出段階であって、しかも互いに異なる複数の分類手法または構成要素や特徴で分類する尤度算出段階と、上記所定の入力データについて、上記複数の分類手法または構成要素や特徴のうちの１つの分類手法または構成要素や特徴で算出した複数の尤度のうちで、最大の尤度である最大尤度に対応するクラスが、入力データに対する正しいクラスであることを示す確からしさである確信度を算出し、記憶装置に記憶する確信度算出段階と、各分類手法または構成要素や特徴のそれぞれで出力した最大尤度に対応するクラス、または、各分類手法または構成要素や特徴のそれぞれで出力した最大尤度を統合した結果である最大尤度統合結果に対応するクラスを、上記入力データの属するクラスであると決定するデータクラス決定段階とを有することを特徴とするデータ分類方法の例である。
【０１３７】
また、上記実施例は、データ分類装置１００、１００ａ、２００、３００を構成する各手段としてコンピュータを機能させるプログラムの例である。つまり、上記実施例は、請求項１〜請求項３のいずれか１項記載のデータ分類装置を構成する各手段としてコンピュータを機能させるプログラムの例である。
【符号の説明】
【０１３８】
１００、１００ａ、２００、３００…データ分類装置、
ＬＣ１…第１尤度算出手段、
ＬＣ２…第２尤度算出手段、
ＬＣｉ…第ｉ尤度算出手段、
ＬＣｎ…第ｎ尤度算出手段、
ＣＤ１、ＣＤ２、ＣＤｉ、ＣＤｎ…最大尤度のクラス決定手段、
ＰＣ１…第１尤度算出手段ＬＣ１の確信度算出手段、
ＰＣ２…第２尤度算出手段ＬＣ２の確信度算出手段、
ＰＣｉ…第ｉ尤度算出手段ＬＣｉの確信度算出手段、
ＰＣｎ…第ｎ尤度算出手段ＬＣｎの確信度算出手段、
１０、３０…データクラス決定手段、
２０、４０…出力手段。
【図１−１】
2010170280.tif 000003
【図１−２】
2010170280.tif 000004
【図２】
2010170280.tif 000005
【図３】
2010170280.tif 000006
【図４】
2010170280.tif 000007
【図５】
2010170280.tif 000008
【図６】
2010170280.tif 000009
【図７】
2010170280.tif 000010
【図８】
2010170280.tif 000011
【図９】
2010170280.tif 000012
【図１０】
2010170280.tif 000013
【図１１】
2010170280.tif 000014
【図１２】
2010170280.tif 000015
【図１３】
2010170280.tif 000016