(57)【特許請求の範囲】
【請求項１】
複数の文書をクラスタリングする文書分類装置であって、
文書に含まれる各単語の相対出現頻度を要素とする文書ベクトルを、各文書について生成する文書ベクトル生成部と、
各文書ベクトル間の距離を、単語の相対出現頻度の事後確率密度分布の最尤値間の距離に確率推定の信頼性を加味した距離尺度を用いて算出する距離算出部と、
各文書ベクトル間の距離に基づき、各文書を複数のクラスタに分類するクラスタリング部と、
を備える文書分類装置。
【請求項２】
請求項１に記載の文書分類装置であって、
前記距離算出部は、
前記文書ベクトルから、文書ｈ中に単語がｎ個出現し、そのうち単語ｗがｋ回出現することが観測された場合の条件付き確率Ｐ(ｗ|ｈ)の真値ｐの事後確率
【数５】
0005379749.tif 000006
を約分して得られる二項事後分布
【数６】
0005379749.tif 000007
を用いて、２つの文書ｉ、ｊにおける単語ｗの出現確率分布の差の二乗の統計的期待値
【数７】
0005379749.tif 000008
を求め、２つの文書ｉ、ｊ間の距離ｄi,jを、
【数８】
0005379749.tif 000009
で定義される距離尺度を用いて求めることを特徴とする文書分類装置。
【請求項３】
複数の文書をクラスタリングする文書分類方法であって、
文書に含まれる各単語の相対出現頻度を要素とする文書ベクトルを、各文書について生成する文書ベクトル生成ステップと、
各文書ベクトル間の距離を、単語の相対出現頻度の事後確率密度分布の最尤値間の距離に確率推定の信頼性を加味した距離尺度を用いて算出する距離算出ステップと、
各文書ベクトル間の距離に基づき、各文書を複数のクラスタに分類するクラスタリングステップと、
を実行する文書分類方法。
【請求項４】
請求項３に記載の文書分類方法であって、
前記距離算出ステップは、
前記文書ベクトルから、文書ｈ中に単語がｎ個出現し、そのうち単語ｗがｋ回出現することが観測された場合の条件付き確率Ｐ(ｗ|ｈ)の真値ｐの事後確率
【数９】
0005379749.tif 000010
を約分して得られる二項事後分布
【数１０】
0005379749.tif 000011
を用いて、２つの文書ｉ、ｊにおける単語ｗの出現確率分布の差の二乗の統計的期待値
【数１１】
0005379749.tif 000012
を求め、２つの文書ｉ、ｊ間の距離ｄi,jを、
【数１２】
0005379749.tif 000013
で定義される距離尺度を用いて求めることを特徴とする文書分類方法。
【請求項５】
請求項１又は２に記載の文書分類装置としてコンピュータを機能させるためのプログラム。
【請求項６】
請求項１又は２に記載の文書分類装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書等の分類に用いる分類基準の統計的信頼性に優れた文書分類装置、文書分類方法、そのプログラムおよび記録媒体に関する。
【背景技術】
【０００２】
複数の文書等を分類する場合、各文書の特徴量の相違を利用し、特徴量の類似性に基づき分類を行う。分類に用いる特徴量として、一般に文書に含まれる各単語の相対出現頻度を要素とする文書ベクトルが用いられ、各文書の文書ベクトル間の距離に基づき、各文書を複数のクラスタに分類する。各文書ベクトル間の距離は、各文書に含まれる単語の相対出現頻度の類似性に基づき定義する。具体的には例えば、各文書に含まれる単語の相対出現頻度の真値の事後確率密度分布の最尤値間の距離として定義する。そして、このように定義された距離が近い文書ベクトル同士が同じクラスタに属するようクラスタリングする。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２３４４８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
各文書ベクトル間の距離を、各文書に含まれる単語の相対出現頻度の類似性のみにより定義した場合、同じ相対出現頻度であっても、各相対出現頻度のサンプル数が異なる場合、すなわち、出現頻度の絶対値が異なる場合、確率密度分布にも相違が生じ、統計的信頼性に相違が生じる。この相違は、サンプル数が小さい場合に特に問題となり、具体的には、出現頻度の低い単語の影響が相対的に大きくなることで統計的信頼性が損なわれる。これにより例えば、本来同一クラスタに分類されるべきでない文書が単一のクラスタに分類される等の問題が生じる。このような問題を回避するために、出現頻度の低い単語を人為的に排除するという対策（例えば、特許文献１）も考えられるが、効率面やコスト面などの新たな問題が生じる。
【０００５】
本発明の目的は、複数の文書をクラスタリングする際に、文書が短い場合でも人手を介することなく精度よく文書を分類することが可能な文書分類装置、文書分類方法、そのプログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の文書分類装置は、複数の文書をクラスタリングする装置であって、文書ベクトル生成部と距離算出部とクラスタリング部とを備える。文書ベクトル生成部は、文書に含まれる各単語の相対出現頻度を要素とする文書ベクトルを、各文書について生成する。距離算出部は、各文書ベクトル間の距離を、単語の相対出現頻度の事後確率密度分布の最尤値間の距離に確率推定の信頼性を加味した距離尺度を用いて算出する。クラスタリング部は、各文書ベクトル間の距離に基づき、各文書を複数のクラスタに分類する。
【発明の効果】
【０００７】
本発明の文書分類装置、文書分類方法、そのプログラムおよび記録媒体によれば、本発明の文書分類装置、文書分類方法、そのプログラムおよび記録媒体によれば、各文書ベクトル間の距離を、単語の相対出現頻度の事後確率密度分布の最尤値間の距離に確率推定の信頼性を加味した距離尺度を用いて算出する。これにより、事後確率密度分布間の距離も考慮されることになるため、低出現頻度の単語の影響により低下していた分類基準の統計的信頼性を向上することができる。そのため、複数の文書をクラスタリングする際に、文書が短い場合でも人手を介することなく精度よく文書を分類することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】文書分類装置１００の構成例を示すブロック図。
【図２】文書分類装置１００の処理フロー例を示す図。
【図３】２つの文書の事後確率密度分布の距離を模式化した図。
【図４】クラスタリング部１３０における処理フローの例を示す図。
【発明を実施するための形態】
【０００９】
図1は本発明の文書分類装置１００の構成例を示すブロック図である。また、図２はその処理フロー例である（Ｓ１〜Ｓ４）。文書分類装置１００は、複数の文書をクラスタリングする装置であって、文書ベクトル生成部１１０と距離算出部１２０とクラスタリング部１３０と結果表示部１４０とを備える。
【００１０】
文書ベクトル生成部１１０は、文書に含まれる各単語の相対出現頻度を要素とする文書ベクトルを、分類の対象となる各文書について生成する（Ｓ１）。このとき、文書ベクトルに含める単語は必ずしも文書に含まれる全ての単語でなくてもよく、予め文書中の単語の解析などを行い、特徴的な主要単語に限定してもよい。
【００１１】
距離算出部１２０は、各文書ベクトル間の距離を、単語の相対出現頻度の事後確率密度分布の最尤値間の距離に確率推定の信頼性を加味した距離尺度を用いて算出する（Ｓ２）。これにより、事後確率密度分布間の距離も考慮されることになるため、低出現頻度の単語の影響により低下していた分類基準の統計的信頼性を向上することができる。具体的には、例えば以下のように算出する。
【００１２】
或る文書ｈの文書ベクトルから、当該文書ｈ中に単語がｎ個出現し、そのうち単語ｗがｋ回出現することが観測された場合における、条件付き確率Ｐ(ｗ|ｈ)の真値ｐの事後確率は、
【００１３】
【数１】
0005379749.tif 000002
【００１４】
と表すことができる。式(1)は、約分することにより二項事後分布
【００１５】
【数２】
0005379749.tif 000003
【００１６】
として表すことができる。
【００１７】
２つの文書ｉ、ｊにおける単語ｗの出現確率分布から独立に標本を抽出するとき、その差の二乗の統計的期待値は次式のような距離尺度として表すことができる。
【００１８】
【数３】
0005379749.tif 000004
【００１９】
この距離尺度ｄi,j(w)には、２つの文書ｉ、ｊにおける単語ｗの相対出現頻度の事後確率密度分布の最尤値間の距離に加え、確率推定の信頼性が反映される。図３に、式(3)で求められる２つの文書ｉ、ｊに対応するｘ、ｙの確率密度関数間の距離を模式化して示す。図３中の２つの二項事後確率密度分布からそれぞれランダムに選ばれる点の確率密度関数が各々の分布に従い、距離尺度ｄi,j(w)は選ばれた２点の距離の統計的期待値となる。
【００２０】
そして、複数の単語の共起関係から２つの文書ｉ，ｊの類似度を示す距離尺度ｄi,jを、各単語について式(2),(3)に基づき定義される二項事後分布に基づき次式により定義することができる（参考文献１参照）。
【００２１】
【数４】
0005379749.tif 000005
【００２２】
〔参考文献１〕田本真詞、川端豪、「連接共起に注目した単語のクラスタリング」、電子情報通信学会技術研究報告、1993、ＳＰ、音声93-125、p.55-62
【００２３】
クラスタリング部１３０は、距離算出部１２０で得られた各文書ベクトル間の距離に基づき、各文書を複数のクラスタに分類する（Ｓ３）。クラスタリングの方法としては種々の方法を適用できる。例えば、凝集型による階層的クラスタリング手法を用いる場合には、図４に示すような手順（Ｓ１１〜Ｓ１３）でクラスタリングすることができる。なお、｛Ｄｐ｜１≦ｐ≦ｎ｝を文書の集合とし、｛Ｃｐ｜１≦ｐ≦ｈ｝を分類の集合とし、各Ｃｐに対応付けられた文書集合を｛Ｋｐｕ｜１≦ｕ≦ｎｐ｝とする。また、初期状態では、Ｃｐ＝｛Ｄｐ｝とする。
【００２４】
まず、Ｃｐ、Ｃｑクラスタ間の距離 dｃ(Ｃｐ，Ｃｑ) を計算し、最も距離の近い２つのクラスタを処理対象とする（Ｓ１１）。クラスタ間の距離dｃ(Ｃｐ，Ｃｑ)は、クラスタ内の代表文書Ｄｐ，Ｄｑの文書ベクトルの距離dｖ(Ｄｐ，Ｄｑ)とし、代表文書Ｄｐは、Ｃｐの文書のうち、Σ（１≦ｓ，ｔ≦ｎｐ，ｓ≠ｔ）dｖ(Ｋｐｓ，Ｋｐｔ)を最小にする文書Ｋｐｔとする。次に、Ｃｐ，Ｃｑクラスタを結合し、新たなクラスタＣｒを生成する（Ｓ１２）。そして、クラスタ数ｈが既定数に達していなければ、Ｓ１１に移行し、達していればクラスタリング処理を終了する（Ｓ１３）。
【００２５】
そして、結果表示部１４０は、クラスタリング結果を表示する（Ｓ４）。表示方法は任意であり、例えば、クラスタリング部１３０で分類された各クラスタと、それぞれのクラスタに属する文書のラベルのリストを表示する。
【００２６】
以上のように、本発明の文書分類装置、文書分類方法、そのプログラムおよび記録媒体によれば、各文書ベクトル間の距離を、単語の相対出現頻度の事後確率密度分布の最尤値間の距離に確率推定の信頼性を加味した距離尺度を用いて算出する。これにより、事後確率密度分布間の距離も考慮されることになるため、低出現頻度の単語の影響により低下していた分類基準の統計的信頼性を向上することができる。そのため、複数の文書をクラスタリングする際に、文書が短い場合でも人手を介することなく精度よく文書を分類することが可能となる。
【００２７】
上記の各処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００２８】
また、本発明の文書分類装置をコンピュータによって実現する場合、装置の各部が有す機能の処理内容はプログラムによって記述される。そのプログラムは、例えば、ハードディスク装置に格納されており、実行時には必要なプログラムやデータがＲＡＭ(Random Access Memory)に読み込まれる。その読み込まれたプログラムがＣＰＵにより実行されることにより、コンピュータ上で各処理内容が実現される。なお、処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【００２９】
上記の処理機能を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよいが、具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００３０】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００３１】
また、上述した実施形態とは別の実行形態として、コンピュータが可搬型記録媒体から直接このプログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【図１】
0005379749.tif 000014
【図２】
0005379749.tif 000015
【図３】
0005379749.tif 000016
【図４】
0005379749.tif 000017