(57)【要約】【課題】  尤度を線形結合し、統合して分類結果を得る場合よりも、精度がより高い分類結果を得る。【解決手段】  本発明は、算出する分類手法または構成要素や特徴が互いに異なる複数の尤度算出手段のそれぞれが、所定の入力データが複数のクラスのそれぞれに属する尤もらしさである尤度を算出し、全ての尤度算出手段から出力された全ての尤度を取得して、該全ての尤度から各クラスが入力データに対する正しいクラスであることを示す確からしさである確信度を算出する。このとき、多くの尤度算出手段での尤度が高く、対抗するクラスでの尤度が低い確信度を高くし、最も確信度が高いクラスを入力データの属するクラスと決定する。【選択図】  図１
2010250391.tif 000002
【特許請求の範囲】
【請求項１】
所定の入力データをクラスへ分類するデータ分類方法であって、
算出する分類手法または構成要素や特徴が互いに異なる複数の尤度算出手段のそれぞれが、前記所定の入力データが複数のクラスのそれぞれに属する尤もらしさである尤度を算出し、尤度記憶手段に格納する尤度算出ステップと、
前記尤度記憶手段から全ての前記尤度算出手段によって出力された全ての尤度を取得して、該全ての尤度から各クラスが入力データに対する正しいクラスであることを示す確からしさである確信度を算出する確信度算出ステップと、
前記確信度の値に基づいて前記入力データの属するクラスを決定するデータクラス決定ステップと、
を行うことを特徴とするデータ分類方法。
【請求項２】
前記データクラス決定ステップにおいて、
最も高い確信度を示したクラスを、前記入力データの属するクラスであると決定する
請求項１記載のデータ分類方法。
【請求項３】
前記確信度算出ステップにおいて、
注目するクラスに対する各尤度算出手段が出力する前記尤度と、各尤度算出手段において注目するクラス以外のクラスで最大となる尤度を用いて算出する
請求項１記載のデータ分類方法。
【請求項４】
所定の入力データをクラスへ分類するデータ分類装置であって、
前記所定の入力データを入力する入力手段と、
前記所定の入力データが複数のクラスのそれぞれに属する尤もらしさである尤度を算出し、尤度記憶手段に格納する手段であって、算出する分類手法または構成要素や特徴が互いに異なる複数の尤度算出手段と、
前記尤度記憶手段から全ての前記尤度算出手段によって出力された全ての尤度を取得して、該全ての尤度から各クラスが入力データに対する正しいクラスであることを示す確からしさである確信度を算出する確信度算出手段と、
前記確信度の値に基づいて前記入力データの属するクラスを決定するデータクラス決定手段と、
を有することを特徴とするデータ分類装置。
【請求項５】
前記データクラス決定手段は、
最も高い確信度を示したクラスを、前記入力データの属するクラスであると決定する手段を含む
請求項４記載のデータ分類装置。
【請求項６】
前記確信度算出手段は、
注目するクラスに対する各尤度算出手段が出力する前記尤度と、各尤度算出手段において注目するクラス以外のクラスで最大となる尤度を用いて算出する手段を含む
請求項４記載のデータ分類装置。
【請求項７】
請求項４乃至６のいずれか１項に記載のデータ分類装置を構成する各手段としてコンピュータを機能させるためのデータ分類プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ分類方法及び装置及びプログラムに係り、特に、入力データが複数のクラスにそれぞれ属することの尤もらしさを表す尤度を算出する複数の尤度算出手段を用いて算出された結果を統合し、データを分類するためのデータ分類方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
入力データを分類する際に、複数の尤度算出手段の出力を同時に用いる方法として、各尤度算出手段が出力する尤度（入力データが各クラスへ属する尤度）の対数をとった対数尤度を線形結合して統合し、この統合された対数尤度に基づいて分類する方法が知られている（例えば、非特許文献１参照）。各尤度算出手段の信頼性の相対関係が一定であれば、このような線形結合による統合は妥当性があり、広く用いられている。
【０００３】
なお、上記の線形結合による統合は、例えば、尤度算出手段Ａが、尤度算出手段Ｂよりも信頼性が高ければ、尤度算出手段Ａの出力の重みを高くして統合することである。つまり、尤度算出手段が出力する対数尤度を、最大エントロピー原理に基づいて、線形結合し、事後確率を求めることによって分類する。
【０００４】
なお、上記「尤度」とは、「尤もらしさ」であり、例えば、「確率」は「尤度」であるといえる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】藤野昭典、上田修功、斉藤和巳、"最大エントロピー原理に基づく付加情報の効果的な利用によるテキスト分類"、情報処理学会論文誌、Vol. 47, No.10, pp.2929-2937, 2006
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の従来技術のように、各尤度算出手段が出力する尤度（または対数をとった対数尤度）を線形結合し、統合し、この統合された尤度(対数尤度)に基づいて分類する方法では、次の問題がある。
【０００７】
例えば、尤度算出手段Ａが「野球」と判断し、尤度算出手段Ａによる分類手法とは異なる分類手法を採用している尤度算出手段Ｂが「サッカー」と判断し、入力データの真のクラスが「野球」である場合、尤度を線形結合したので、尤度算出手段Ｂによる間違った結果に影響され、「サッカー」であると誤って判断する可能性がある。すなわち、個々の尤度算出手段の長所を弱め、結果として正しい分類結果が得られない現象がよく起きるという問題がある。
【０００８】
このような問題は、各尤度算出手段の信頼性が一定であると仮定していることに起因している。
【０００９】
本発明は、上記の点に鑑みなされたもので、尤度を線形結合し、統合して分類結果を得る場合よりも、精度がより高い分類結果を得ることができるデータ分類方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
図１は、本発明の原理を説明するための図である。
【００１１】
本発明（請求項１）は、所定の入力データをクラスへ分類するデータ分類方法であって、
算出する分類手法または構成要素や特徴が互いに異なる複数の尤度算出手段のそれぞれが、所定の入力データが複数のクラスのそれぞれに属する尤もらしさである尤度を算出し、尤度記憶手段に格納する尤度算出ステップ（ステップ１）と、
尤度記憶手段から全ての尤度算出手段によって出力された全ての尤度を取得して、該全ての尤度から各クラスが入力データに対する正しいクラスであることを示す確からしさである確信度を算出する確信度算出ステップ（ステップ２）と、
確信度の値に基づいて入力データの属するクラスを決定するデータクラス決定ステップ（ステップ３）と、を行う。
【００１２】
また、本発明（請求項２）は、請求項１のデータ分類方法のデータクラス決定ステップ（ステップ３)において、最も高い確信度を示したクラスを、入力データの属するクラスであると決定する。
【００１３】
また、本発明（請求項３）は、請求項１のデータ分類方法の確信度算出ステップ(ステップ２)において、
注目するクラスに対する各尤度算出手段が出力する尤度と、各尤度算出手段において注目するクラス以外のクラスで最大となる尤度を用いて算出する。
【００１４】
図２は、本発明の原理構成図である。
【００１５】
本発明（請求項４）は、所定の入力データをクラスへ分類するデータ分類装置であって、
所定の入力データを入力する入力手段１１と、
所定の入力データが複数のクラスのそれぞれに属する尤もらしさである尤度を算出し、尤度記憶手段１７に格納する手段であって、算出する分類手法または構成要素や特徴が互いに異なる複数の尤度算出手段１３と、
尤度記憶手段１５から全ての尤度算出手段１３によって出力された全ての尤度を取得して、該全ての尤度から各クラスが入力データに対する正しいクラスであることを示す確からしさである確信度を算出する確信度算出手段１４と、
確信度の値に基づいて入力データの属するクラスを決定するデータクラス決定手段１５と、を有する。
【００１６】
また、本発明（請求項５）は、請求項４のデータ分類装置のデータクラス決定手段１５が、最も高い確信度を示したクラスを、入力データの属するクラスであると決定する手段を含むものである。
【００１７】
また、本発明（請求項６）は、請求項４のデータ分類装置の確信度算出手段１４が、
注目するクラスに対する各尤度算出手段１３が出力する尤度と、各尤度算出手段１３において注目するクラス以外のクラスで最大となる尤度を用いて算出する手段を含むものである。
【００１８】
本発明（請求項７）は、請求項４乃至６のいずれか１項に記載のデータ分類装置を構成する各手段としてコンピュータを機能させるためのデータ分類プログラムである。
【発明の効果】
【００１９】
本発明は、全ての尤度算出手段が出力する全ての尤度から、各クラスが入力データに対する正しいクラスであることを示す確信度を予測し、この予測した確信度の高いクラスを入力データのクラスとして求めることにより、尤度を線形結合し、統合して分類結果を得る場合よりも、精度が高い分類結果を得ることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態におけるデータ分類装置の構成図である。
【図４】本発明の一実施の形態におけるデータ分類装置の処理のフローチャートである。
【発明を実施するための形態】
【００２１】
以下、図面と共に本発明の実施の形態を説明する。
【００２２】
図３は、本発明の一実施の形態におけるデータ分類装置の構成図である。
【００２３】
同図に示すデータ分類装置１０は、入力部１１、尤度算出制御部１２、複数の尤度算出手段１３、確信度算出部１４、データクラス決定部１５、メモリ１６、尤度記憶部１７、算出パラメータ記憶部１８、確信度記憶部１９から構成され、入力部１１には処理対象記憶部１、キーボード２が接続され、出力部１５にはディスプレイ３が接続されている。
【００２４】
処理対象記憶部１は、文書等の処理対象が格納されているデータベースであり、入力部１１により読み出される。
【００２５】
メモリ１６は、入力部１１によって入力された処理対象が格納される。
【００２６】
尤度記憶部１７は、各尤度算出手段１３によって算出された尤度が格納される。
【００２７】
算出パラメータ記憶部１８は、後述するロジスティック回帰モデルにおけるモデルパラメータ推定手順によって予め求められた確信度算出パラメータが格納される。
【００２８】
確信度記憶部１９は、確信度算出部１４によって求められた確信度が格納される。
【００２９】
入力部１１は、処理対象記憶部１から処理対象データを読み込み、メモリ１６に格納すると共に、キーボード２から入力された尤度算出手段１３の数及び分類先であるクラス数を取得し、尤度算出制御部１２に渡す。
【００３０】
尤度算出制御部１２は、メモリから処理対象データの特徴を入力する尤度算出手段１３を決定し、尤度を算出させる。
【００３１】
尤度算出手段１３は、入力データが複数のクラスのそれぞれに属することの尤もらしさである尤度を算出し、尤度記憶部１７に格納する。それぞれの尤度算出手段１３は、分類手法または、構成要素や特徴が互いに異なる。例えば、データの特徴ベクトルとクラスラベルの同時確率分布をモデル化し、ベイズ則に基づいてクラス事後確率を計算することでデータのクラスラベルを推定する生成アプローチ、クラス事後確率を直接モデル化する識別アプローチなどがある。
【００３２】
確信度算出部１４は、尤度記憶部１７に格納されている全ての尤度から、算出パラメータ記憶部１８に格納されている確信度算出パラメータを用いて、各クラスが入力データに対する正しいクラスであることを示す確からしさである確信度を算出し、確信度記憶部１９に格納する。確信度は全ての尤度算出手段から出力された尤度を用いて統合的に算出される。概略的には、多くの尤度算出手段において尤度が高く、対抗するクラスでの尤度が低いほど、高い値になる。
【００３３】
データクラス決定部１５は、確信度記憶部１９から確信度を取得し、最も高い確信度を示したクラスを入力データの属するクラスとして出力する。
【００３４】
図４は、本発明の一実施の形態におけるデータ分類装置の処理のフローチャートである。
【００３５】
ステップ１０１）  入力部１１は、処理対象記憶部１から処理対象である入力データをメモリ１６上に読み込む。
【００３６】
ステップ１０２）  入力部１１は、キーボード２から入力された尤度算出手段１３の数ｎを取得し、尤度算出制御部１２に渡す。
【００３７】
ステップ１０３）  入力部１１は、キーボード２から入力された分類先であるクラス数Ｋを取得し、尤度算出制御部１２に渡す。
【００３８】
ステップ１０４）  尤度算出制御部１２は、尤度算出手段１３の番号ｉを１に初期化する（ｉ＝１）。
【００３９】
ステップ１０５）  尤度算出制御部１２は、尤度算出手段１３の番号ｉがｉ≦ｎであればステップ１０６に移行し、そうでなければステップ１０９に移行する。
【００４０】
ステップ１０６）  尤度算出制御部１２は、メモリ１４に格納されている入力データＷの特徴を第ｉ番目の尤度算出手段ＬＣｉに入力し、当該尤度算出手段ＬＣｉは入力データがクラスＣｋ（ｋ＝１，…，Ｋ）に属する尤度Ｐｉ（Ｗ│Ｃｋ）を算出する。各クラスにおいて、入力データが複数の特徴から構成されるときは出現する確率の積を、入力データＷの特徴が当該クラスに属する尤度であると判断する。なお、上記入力データのＷの例は文書であり、上記入力データの特徴の例は、「単語」または、「単語に付与したベクトル」である。
【００４１】
すなわち、ある入力文書に単語「ホームラン」と「試合」が含まれている場合、クラス「野球」における『ホームラン』の出現確率が例えば１／２０と予め定められ、「試合」の出現確率が例えば１／５であると予め定められているとすると、上記入力データが出現する確率の積は、
(１／２０)×（１／５）＝１／１００
である。上記確率の積を尤度とし、この尤度はクラスに属する「尤もらしさ」を示すものである。
【００４２】
また、「上田修功、斉藤和巳、"多重トピックテキストの確率モデル−テキストモデル研究の最前線（１）"、情報処理学会誌 Vol. 45, No. 2, pp. 184-190, 2004」や「上田修功、斉藤和巳、"多重トピックテキストの確率モデル−テキストモデル研究の最前線（２）"、情報処理学会誌、Vol. 45, No. 3, pp. 282-289, 2004.」に記載されているナイーブベイズという方法を使用するようにしてもよい。
【００４３】
ステップ１０７）  尤度算出手段ＬＣｉは、算出された尤度を尤度記憶部１７に格納する。
【００４４】
ステップ１０８）  尤度算出制御部１２は、尤度算出手段１３の番号ｉをｉ＋１としてステップ１０５に戻る。
【００４５】
ステップ１０９）  上記のステップ１０５において、ｉ＞ｎとなった場合は、確信度算出部１４は、クラス番号ｋを１に初期化する。
【００４６】
ステップ１１０）  確信度算出部１４は、尤度記憶部１７から尤度を取り出して、クラスｋが正しいクラスである確信度Ｐckを次のようにして算出する。
【００４７】
【数１】
2010250391.tif 000003
を算出パラメータ記憶部１８から読み込み、
【００４８】
【数２】
2010250391.tif 000004
により確信度Ｐckを算出する。ここで、式(２)の第３項のmaxj(j≠k)Ｐi（Ｗ│Ｃj）は、クラス番号がｋ以外で最大となる尤度を指す。また、上式が示すように、全ての尤度算出手段１３から出力された尤度を用いて統合的に確信度を算出している。概略的には、多くの尤度算出手段においてクラスｋの尤度Ｐi（Ｗ│Ｃj）が高く、クラスｊ（≠ｋ）の尤度Ｐi（Ｗ│Ｃｋ）が低い（つまり対抗するクラスの尤度が低い）ほど確信度が高くなる。この情報は単なる尤度Ｐi（Ｗ│Ｃｋ）を見るだけでは利用できないものであり、この情報を活用することで、分類精度を高めるのが、本発明の核となる考え方である。
【００４９】
算出パラメータ記憶部１８に格納される確信度算出パラメータは事前に算出しておく。式（３）、（４）はロジスティック回帰式であり、以下に示す通常のロジスティック回帰モデルにおけるモデルパラメータ推定の手順に基づいて算出できる。
【００５０】
ロジスティック回帰モデルは、一般にある現象が発生する確率ｙ（結果変数）を、その現象の生起を説明するために観測された説明変数ｘ＝（ｘ１，…，ｘｒ）で説明するためのモデルであり、モデルパラメータβ＝(β０，…，βｒ)を用いて
【００５１】
【数３】
2010250391.tif 000005
と表せる。モデルパラメータの推定は、訓練データにより行う。訓練データのサイズをＭとしたとき、第ｍ番目（ｍ＝１，…，Ｍ）の訓練データは、
結果変数：    ym、ｙm＝１；ある事象が発生
ｙm＝０；ある事象が発生せず
説明変数：    ｒ個の変数（ｘｍ１，ｘｍ２，…，ｘｍｒ）
となる。この訓練データを式(３)、(４)に当てはめ、最尤法(最も尤もらしいものを選ぶ方法)等を用いて、適切なモデルパラメータβ＝（β０，…，βｒ)を得る。この考え方を式（１）、（２）に当てはめて考え、入力データのクラスｋが正しいクラスであることを結果変数がｙ＝１であると、誤っていることをｙ＝０と、そのときのクラスｋに属する尤度Ｐi（Ｗ│Ｃｋ）とクラスｋ以外で最大となる尤度maxj(j≠ｋ)Ｐi（Ｗ│Ｃj）を説明変数ｘ（＝ｘ１，…）であるとして、モデルパラメータβに対応する
【００５２】
【数４】
2010250391.tif 000006
を求める。
【００５３】
なお、「丹後俊郎、山岡和枝、高木晴良、"ロジスティック回帰分析"、pp. 3朝倉書店、1996」に記載されている−∞〜∞の変動範囲を持つ説明変数の合成変量Ｚと範囲（０，１）に値を持つ発生確率ｐ(ｘ)とをロジスティック関数で結合させたモデルを用いてもよい。また、式（１）、（２）ではクラスｋ毎に別々の算出パラメータを用いるとしたが、パラメータ全てのクラスに対して共通としてもよい。
【００５４】
上記のようにして算出された確信度は確信度記憶部１９に格納される。
【００５５】
ステップ１１２）  確信度算出部１４は、クラス番号ｋをｋ＋１としてステップ１１０に戻る。
【００５６】
ステップ１１３）  データクラス決定部１５は、ステップ１１０において、ｋ＞Ｋとなった場合は、確信度記憶部１９から確信度Ｐck（ｋ＝１，…，Ｋ）を読み出して、その中で最大の値を示すクラスをデータのクラスとして決定し、ディスプレイ３に出力する。
【００５７】
なお、図３に示すデータ分類装置の各構成要素の動作をプログラムとして構築し、データ分類装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００５８】
また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００５９】
なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００６０】
本発明は、ウェブページ、ブログ、電子メール等のテキストデータの分類に適用可能である。
【符号の説明】
【００６１】
１  処理対象記憶部
２  キーボード
１０  データ分類装置
１１  入力手段、入力部
１２  尤度算出制御部
１３  尤度算出手段
１４  確信度算出手段、確信度算出部
１５  データクラス決定手段、データクラス決定部
１６  メモリ
１７  尤度記憶手段、尤度記憶部
１８  算出パラメータ記憶部
１９  確信度記憶部
【図１】
2010250391.tif 000007
【図２】
2010250391.tif 000008
【図３】
2010250391.tif 000009
【図４】
2010250391.tif 000010