(57)【特許請求の範囲】
【請求項１】
複数の話題を含む入力文書を参照文書とし、当該参照文書の文書ベクトルを抽出して当該参照文書と上記文書ベクトルとを出力する特徴量抽出部と、
標本文書から求めた話題をクラスタ分類して得られた話題クラスと、当該話題クラスに含まれる文書ベクトルの重心である話題ベクトルと、上記標本文書のすべての文書と上記参照文書に含まれる上記話題の共起関係から算出される当該話題の重要度と、を対応付けて記録した話題/話題ベクトル/重要度対応表と、
上記文書ベクトルと上記話題ベクトルとのベクトル間の類似度を求め、当該類似度の大きい上記話題ベクトルと対応する話題クラスと重要度と、上記文書ベクトルに対応した参照文書とを出力する話題・話題ベクトル・重要度出力部と、
上記話題/話題ベクトル/重要度対応表の話題ベクトルをカテゴリごとに分類し、当該分類された話題ベクトルの重心を、上記カテゴリに対応させた標本文書ベクトルとして記録したカテゴリ−標本文書ベクトル対応表と、
上記話題クラスごとに上記話題ベクトルと上記標本文書ベクトルとの間の類似度を求め、当該類似度に当該話題クラスの重要度を乗じた値を上記話題クラスごとに累積した値を文書類似度として求め、当該文書類似度の最も大きなカテゴリに参照文書を分類する類似度比較分類部と、
を具備する文書カテゴライズ装置。
【請求項２】
請求項１に記載した文書カテゴライズ装置において、
上記重要度は、
上記参照文書の或る話題の出現確率分布と、上記標本文書の全文書における当該話題の出現確率分布との差に基づくものとすることを特徴とする文書カテゴライズ装置。
【請求項３】
請求項１に記載した文書カテゴライズ装置において、
上記重要度は、
２つの確率分布の差を求めるカルバック・ライブラー情報量で与えられ次式で定義され、
【数５】
0005758349.tif 000012
或る話題クラスｐに含まれる文書の集合Ｐにおける話題クラスｉの出現確率分布Ｐ（ｉ）と全文書Ｑにおける話題クラスｉの出現確率分布Ｑ（ｉ）との分布の差によって与えられることを特徴とする文書カテゴライズ装置。
【請求項４】
請求項３に記載した文書カテゴライズ装置において、
上記文書類似度は、
話題ごとの上記話題ベクトルと上記標本文書ベクトルとの間のコサイン類似度に、話題ごとの上記話題ベクトルと上記標本文書ベクトルの確率分布の差を表す上記カルバック・ライブラー情報量を乗じた値を、全ての話題について累積した値であることを特徴とする文書カテゴライズ装置。
【請求項５】
請求項１乃至４の何れかに記載した文書カテゴライズ装置において、
更に、
カテゴリと、当該カテゴリに含まれる話題クラスとの対応を記録したカテゴリ−話題クラス対照表と、
上記カテゴリ−話題クラス対照表を参照して、ある話題クラスを含むカテゴリを横断的に探索して所定の数よりも少ない当該ある話題クラスを含むカテゴリを抽出し、
上記抽出したカテゴリ以外のカテゴリが含む話題クラスを持つ文書のカテゴリ類似度の最大値を求め、
上記抽出したカテゴリに含まれる話題クラスを持つ文書のカテゴリ類似度の最小値を求め、
上記最小値が上記最大値よりも大きなカテゴリに含まれる話題クラスを類似度算出不要話題クラスとして当該カテゴリに対応付け、
上記参照文書を入力として、当該参照文書に含まれる話題クラスが上記類似度算出不要話題クラスと一致すると、当該参照文書を上記当該カテゴリに分類して外部に出力すると共に、上記類似度算出不要話題クラスを含まない参照文書を上記類似度比較分類部に出力する類似度算出不要話題クラス選択部と、
を備えることを特徴とする文書カテゴライズ装置。
【請求項６】
請求項１乃至４の何れかに記載した文書カテゴライズ装置において、
更に、
カテゴリと、当該カテゴリに含まれる話題クラスとの対応を記録したカテゴリ−話題クラス対照表と、
上記参照文書が入力された時に、当該参照文書に含まれる話題クラスに応じて上記カテゴリ−話題クラス対照表の参照する範囲を特定し、
上記特定範囲のカテゴリ−話題クラス対照表を参照して、ある話題クラスを含むカテゴリを横断的に探索して所定の数よりも少ない当該ある話題クラスを含むカテゴリを抽出し、
上記抽出したカテゴリ以外のカテゴリが含む話題クラスを持つ文書のカテゴリ類似度の最大値を求め、
上記抽出したカテゴリに含まれる話題クラスを持つ文書のカテゴリ類似度の最小値を求め、
上記最小値が上記最大値よりも大きなカテゴリに含まれる話題クラスを類似度算出不要話題クラスとして当該カテゴリに対応付け、
上記参照文書を入力として、当該参照文書に含まれる話題クラスが上記類似度算出不要話題クラスと一致すると、当該参照文書を上記当該カテゴリに分類して外部に出力すると共に、上記類似度算出不要話題クラスを含まない参照文書を上記類似度比較分類部に出力する類似度算出不要話題クラス選択部と、
を備えることを特徴とする文書カテゴライズ装置。
【請求項７】
特徴量抽出部が、複数の話題を含む入力文書を参照文書とし、当該参照文書の文書ベクトルを抽出して当該参照文書と上記文書ベクトルとを出力する特徴量抽出過程と、
話題・話題ベクトル・重要度出力部が、上記文書ベクトルと、話題/話題ベクトル/重要度対応表に記録された標本文書から求めた話題をクラスタ分類して得られた話題クラスと、当該話題クラスに含まれる文書ベクトルの重心である話題ベクトルとのベクトル間の類似度を求め、当該類似度の大きい上記話題ベクトルと対応する話題クラスと上記話題/話題ベクトル/重要度対応表に記録された上記標本文書のすべての文書と上記参照文書に含まれる上記話題の共起関係から算出される当該話題の重要度と、上記文書ベクトルに対応した参照文書とを出力する話題・話題ベクトル・重要度出力過程と、
類似度比較分類部が、上記話題クラスごとに上記話題ベクトルとカテゴリ−標本文書ベクトル対応表に記録された上記話題/話題ベクトル/重要度対応表の話題ベクトルをカテゴリごとに分類し、当該分類された話題ベクトルの重心である標本文書ベクトルとの間の類似度を求め、当該類似度に当該話題クラスの重要度を乗じた値を上記話題クラスごとに累積した値を文書類似度として求め、当該文書類似度の最も大きなカテゴリに参照文書を分類する類似度比較分類過程と、
を備える文書カテゴライズ方法。
【請求項８】
請求項１乃至６の何れかに記載した文書カテゴライズ装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数の文書データを分類する文書カテゴライズ装置とその方法とそのプログラムに関する。
【背景技術】
【０００２】
文書集合全体を任意の文書群に分割する文書カテゴライズにおいて、文書間の類似度を算出するための特徴量として文書ベクトルが広く用いられている。文書ベクトルは、単語出現頻度ないし単語固有に定まる概念ベクトルから生成される列ベクトルである。文書ベクトル間の類似度で文書間の類似度を表すことができる。
【０００３】
文書ベクトル間の類似度を用いて、収集したい文書（標本文書）をカテゴライズする方法が特許文献１に開示されている。この方法は、標本の文書集合に含まれる複数の単語について単語ごとに定められる単語概念ベクトルを取得して、各々の単語のベクトル重心を文書ベクトルで表される特徴量として抽出する。次に、標本文書集合の特徴量と、カテゴライズされる対象の参照文書の持つ特徴量との類似度を算出し、収集したい文書を、その値の最も小さな標本文書集合と同一カテゴリに収集してカテゴライズする。
【０００４】
この手法では、ある文書の特徴量における単語概念ベクトルの重みは、ＴＦ−ＩＤＦなどの文書中の出現頻度を元に決定されるか、若しくは人手で付与される。この際に、話題の共通性の観点は考慮されないのが一般的である。
【０００５】
各文書に含む文脈から話題を分類する方法として、特許文献２に開示された文書データ分類装置１が知られている。文書データ分類装置１の機能構成（図１２）を参照してその動作を簡単に説明する。ここで話題とは、一まとまりの文書や文脈に含まれる特徴的な単語や、その単語集合のことであり、それらから想起されるものである。
【０００６】
文書データ分類装置１は、メモリ１０、文書入力部２０、文脈抽出部３０、文書ベクトル生成部４０、文脈結合部５０、クラスタ分類部６０、結果表示部７０、制御部８０、を備える。文書入力部２０は、外部から入力される入力文書をメモリ１０に記録する。文脈抽出部３０は、メモリ１０から各入力文書を読み込み、入力文書中の各単語と予めメモリ１０に記録されている主要単語とが一致するか否かを判定し、一致した入力文書中の単語の位置を基準として定まる当該入力文書中の一部の単語列をそれぞれ推定文脈として抽出する。文書ベクトル生成部４０は、各推定文脈の文書ベクトルである第１の文書ベクトルを生成する。文脈結合部５０は、抽出した複数の推定文脈の一部が相互に重複する複数の推定文脈を１つの推定文脈に統合し、第１の文書ベクトルを合成した合成ベクトルの第２のベクトルを生成する。クラスタ分類部６０は、全ての第２のベクトルを対象とした第２のクラスタリングを行い、最終的な分類を決める。
【０００７】
文書データ分類装置１は、１つの文書中に複数の分野に分類されるべき複数の話題が混在しても、高速に話題を分類することができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−２７７０９９号公報
【特許文献２】特開２００９−２１１２７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に開示されているように、文書集合全体を任意の文書群に分類する文書カテゴライズにおいて文書間の類似度を算出するための特徴量として広く用いられる文書ベクトルは、単語出現頻度ないし単語固有に定まる概念ベクトルから生成され、文書ベクトル間の類似度で文書間の文書類似度を表す。一方、文書間の類似性を人の主観で判定する場合、文書に含まれる重要な話題について文書相互での共通性をもとに判定するのが一般的である。しかし、文書ベクトル法では、単語に対して重要度を基準に重み付けするのが一般的で、話題の観点が考慮されない。よって、各々の重要な話題の共通性を類似度に反映できないため、主観による類似性の判定との差を生じ、文書カテゴライズにおける分類精度の低下を生じる。特許文献２の方法は、文書に含まれる各話題について、特徴量の類似度の大きいものを１つのカテゴリに分類するのみで、話題ごとに文書を分類するものではない。
【００１０】
つまり、従来において人間の直感に近い形で任意の文書群を所定のカテゴリに分類する装置はなかった。この発明は、このような課題に鑑みてなされたものであり、人の直感により近い文書分類を実現することができる文書カテゴライズ装置とその方法と、そのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
この発明の文書カテゴライズ装置は、特徴量抽出部と、話題/話題ベクトル/重要度対応表と、話題・話題ベクトル・重要度出力部と、カテゴリ−文書ベクトル対応表と、類似度比較分類部と、を具備する。特徴量抽出部は、複数の話題を含む入力文書を参照文書とし、当該参照文書の文書ベクトルを抽出して当該参照文書と上記文書ベクトルとを出力する。話題/話題ベクトル/重要度対応表は、標本文書から求めた話題をクラスタ分類して得られた話題クラスと、当該話題クラスに含まれる文書ベクトルの重心である話題ベクトルと、上記標本文書のすべての文書と上記参照文書に含まれる上記話題の共起関係から算出される当該話題の重要度と、を対応付けて記録する。話題・話題ベクトル・重要度出力部は、文書ベクトルと上記話題ベクトルとのベクトル間の類似度を求め、当該類似度の大きい話題ベクトルと対応する話題クラスと重要度と、単語ベクトルに対応した参照文書とを出力する。カテゴリ−標本文書ベクトル対応表は、上記話題/話題ベクトル/重要度対応表の話題ベクトルをカテゴリごとに分類し、当該分類された話題ベクトルの重心を、カテゴリに対応させた標本文書ベクトルとして記録する。類似度比較分類部は、話題クラスごとに上記話題ベクトルと上記標本文書ベクトルとの間の類似度を求め、当該類似度に当該話題クラスの重要度を乗じた値を話題クラスごとに累積した値を文書類似度として求め、当該文書類似度の最も大きなカテゴリに参照文書を分類する。
【発明の効果】
【００１２】
この発明の文書カテゴライズ装置で用いる重要度は、標本文書の全文書における或る話題と、参照文書の当該話題の共起関係とに基づいて話題の共通性を類似度に反映させるものである。この重要度を用いて参照文書（入力文書）をカテゴリごとに分類することで、人の感覚に近い文書分類を行うことが可能になる。
【図面の簡単な説明】
【００１３】
【図１】この発明の文書カテゴライズ装置１００の機能構成例を示す図。
【図２】文書カテゴライズ装置１００の動作フローを示す図。
【図３】話題/話題ベクトル/重要度/対応表作成装置の機能構成例を示す図。
【図４】話題クラス抽出部２１０の機能構成例を示す図。
【図５】話題クラス抽出部２１０の動作フローを示す図。
【図６】話題クラスの生成過程を模式的に示す図。
【図７】文書の重要度の違いを模式的に示す図。
【図８】この発明の文書カテゴライズ装置３００の機能構成例を示す図。
【図９】カテゴリ−話題クラス対照表３２０の構造を示す図。
【図１０】類似度算出不要話題クラス選択部３１０の動作フローを示す図。
【図１１】文書−話題クラス対照表の構成を示す図。
【図１２】従来の文書データ分類装置１の機能構成を示す図。
【発明を実施するための形態】
【００１４】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
【実施例１】
【００１５】
図１に、この発明の文書カテゴライズ装置１００の機能構成例を示す。その動作フローを図２に示す。文書カテゴライズ装置１００は、特徴量抽出部１１０と、話題・話題ベクトル・重要度出力部１２０と、話題/話題ベクトル/重要度対応表１３０と、類似度比較分類部１４０と、カテゴリ−標本文書ベクトル対応表１５０と、制御部１６０と、を具備する。文書カテゴライズ装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００１６】
特徴量抽出部１１０は、複数の話題を含む入力文書の或る話題に対応する部分の文書を参照文書として当該参照文書の文書ベクトルを話題ベクトルとして抽出し、当該話題と上記参照文書と上記話題ベクトルとを出力する（ステップＳ１１０）。
【００１７】
話題/話題ベクトル/重要度対応表１３０は、標本文書から求めた話題クラスと、当該話題クラスに含まれる文書ベクトルの重心である話題ベクトルと、標本文書のすべての文書と参照文書に含まれる話題の共起関係から算出される当該話題の重要度と、をあらかじめ対応付けて記録する。
【００１８】
話題・話題ベクトル・重要度出力部１２０は、話題ベクトルと文書ベクトルとのベクトル間の類似度を求め、当該類似度の近い文書ベクトルに対応する話題クラスと話題ベクトルと重要度と、上記文書ベクトルに対応する参照文書とを出力する（ステップＳ１２０）。カテゴリ−標本文書ベクトル対応表１５０は、カテゴリと、当該カテゴリに含まれる話題クラスごとの話題ベクトルの重心である標本文書ベクトルとを、あらかじめ対応付けて記録する。
【００１９】
類似度比較分類部１４０は、話題クラスごとに話題ベクトルと標本文書ベクトルとの間の類似度を求め、当該類似度に当該話題クラスの重要度を乗じた値を話題クラスごとに累積した値を文書類似度として求め、当該文書類似度の最も大きなカテゴリに参照文書を分類する（ステップＳ１４０）。参照文書は、カテゴリごとにカテゴライズ結果蓄積部１７０に蓄積される。制御部１６０は各部の動作を制御する。
【００２０】
話題/話題ベクトル/重要度対応表１３０に、あらかじめ記録される重要度は、標本文書のすべての文書と参照文書に含まれる話題の共起関係から算出されるものである。この重要度を用いて入力文書を話題ごとに分類すると、人の感覚に近い文書分類を行うことができる。重要度の詳しい説明は後述する。
【００２１】
以降各機能部の動作を更に詳しく説明する。まず、話題/話題ベクトル/重要度対応表１３０について説明する。話題/話題ベクトル/重要度対応表１３０は、話題/話題ベクトル/重要度/対応表作成装置２００によって生成する。
【００２２】
〔話題/話題ベクトル/重要度/対応表作成装置〕
図３に、話題/話題ベクトル/重要度/対応表作成装置２００の機能構成例を示す。話題/話題ベクトル/重要度/対応表作成装置２００は、話題クラス抽出部２１０と、重要度取得部２２０と、を備える。重要度取得部２２０は、文書数計数手段２２１とカルバック・ライブラー情報量算出手段２２２とで構成される。
【００２３】
話題/話題ベクトル/重要度/対応表作成装置２００も、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００２４】
話題クラス抽出部２１０は、標本文書群を入力として、その標本文書群に含まれる話題クラスと話題クラスの文書ベクトルを抽出する。標本文書群とは、収集対象の標本となる話題を含む文書を、人の主観によりカテゴリごとに選別した文書の集合である。話題クラスとは、各話題を含む文書から生成された文書ベクトルを対象にしてクラスタリングを行って生成されたクラスタのことである。当該クラスタの話題ベクトルとは、話題クラスに含まれる単語ベクトルの重心ある。
【００２５】
〔話題クラス抽出部〕
図４に、話題クラス抽出部２１０の機能構成例を示す。その動作フローを図５に示す。なお、話題クラス抽出部２１０は、従来技術の特許文献２に開示された文書データ分類装置１と同じものである。よってここでは、この発明との関連の強い文書ベクトルと話題クラスを明らかにする目的で説明する。
【００２６】
話題クラス抽出部２１０は、文書抽出手段１１１、第１文書ベクトル生成手段１１３、文脈結合手段１１４、話題クラス分類手段１１５、メモリ１１２、を備える。メモリ１１２は、話題/話題ベクトル/重要度/対応表作成装置２００を例えばコンピュータで実現した場合のＲＡＭに当たる。
【００２７】
文脈抽出手段１１１は、標本文書群を入力として、メモリ１１２に記録された推定文脈を抽出するための１個以上の主要単語を参照し、主要単語が一致する標本文書の単語の位置を基準として定まる当該標本文書の所定範囲の単語列をそれぞれ推定文脈として抽出する（ステップＳ１１１）。各推定文脈は、メモリ１１２に格納される。
【００２８】
第１文書ベクトル生成手段１１３は、メモリ１１２から各推定文脈を読み込み、各推定文脈の文書ベクトルである第１の文書ベクトルをそれぞれ生成し、各第１の文書ベクトルをメモリ１１２に出力し、そこに格納する（ステップＳ１１３）。なお、文書ベクトルは、文書集合に含まれるすべての異なる単語の各出現傾向を示す重みを成分とした列ベクトルで表現される（例えば参考文献：岸田和明，「文書クラスタリングの技法：文献レビュー」，三田図書館・情報学会，NO.49(2003), p.33-75））。文書ベクトルの生成には公知の方法を用いればよい。例えば、ＴＦ−ＩＤＦ尺度を用いて文書群から複数の単語を選別し、選別された各単語の推定文脈における出現頻度（ＴＦ）を当該推定文脈の文書ベクトルの要素としてもよい。また、単語間共起頻度行列をもとに次元数を圧縮した文書ベクトルを生成してもよい（例えば参考文献：徳永健伸著，辻井潤一編，「情報検索と言語処理  言語と計算」，東京大学出版会，1999年）。また、生成された各第１の文書ベクトルには対応する各推定文脈を識別するための推定文脈ＩＤが付与される。そして、第１の文書ベクトルとそのＩＤはメモリ１１２に格納される。
【００２９】
文脈結合手段１１４は、メモリ１１２に格納された第１の文書ベクトルを読み込み、第１のクラスタリングを行う。複数の第１文書ベクトルが属するクラスタについてはそれに属する複数の第１の文書ベクトルを合成した合成ベクトルを文書ベクトルとして出力し、１個の第１の文書ベクトルが属するクラスタについてはそれに属する１個の第１の文書ベクトルを文書ベクトルとして出力する（ステップＳ１１４）。文書ベクトルはメモリ１１２に格納される。
【００３０】
話題クラス分類手段１１５は、メモリ１１２から文書ベクトルを読み込み、すべての文書ベクトルを対象とした第２のクラスタリングを行い、第２のクラスタリングの結果をメモリ１１２に出力し、そこに格納する（ステップＳ１１５）。ステップＳ１１５の処理は様々なクラスタリング方法を用いて実現できる。例えば、分割最適化による非階層的クラスタリング手法（ｋ−ｍｅａｎｓ法）を用いることで実現できる。第２のクラスタリングの結果は、文書ベクトルとその文書ベクトルが得られた文書番号とが対応付けられて分類されたもので、話題クラスを構成する。
【００３１】
図６に、話題クラスの生成過程を模式的に示す。１行目は、推定文脈を抽出するための主要単語であり、主要単語が集って各文書Ｄ１，Ｄ２，Ｄ３を構成している様子を表している。２行目は、主要単語を含む抽出された推定文脈を示している。３行目は、クラスタリングされた話題クラスを示している。
【００３２】
話題クラスのｉは、ｉ＝ａ（例えば天気）、ｉ＝ｂ（例えば経済）、ｉ＝ｃ（例えばスポーツ）、ｉ＝ｄ（例えば政治）、などの話題を表す識別子である。話題クラスｉ＝ａ（天気）には、文書Ｄ１に含まれた文書ベクトル（ａ１）と文書Ｄ２に含まれた文書ベクトル（ａ２）が分類されている。話題クラスｉ＝ｂ（経済）には、文書Ｄ１に含まれた文書ベクトル（ｂ１）と、文書Ｄ２に含まれた文書ベクトル（ｂ２）と、文書Ｄ３に含まれた文書ベクトル（ｂ３）が分類されている。話題クラスｉ＝ｃ（スポーツ）には、文書Ｄ２に含まれた文書ベクトル（ｃ２）と、文書Ｄ３に含まれた文書ベクトル（ｃ３）が分類されている。話題クラスｉ＝ｄ（政治）には、文書Ｄ３に含まれた文書ベクトル（ｄ３）が分類されている。
【００３３】
各話題クラスｉの単語ベクトルは、それぞれの話題クラスごとに平均されて当該話題クラスを表すベクトルの重心である話題ベクトルとされる。
【００３４】
〔重要度取得部〕
重要度取得部２２０は、文書計数手段２２１とカルバック・ライブラー情報量算出手段２２２とで構成される。文書計数手段２２１は、話題クラスｉを入力として、各話題クラスに含まれる文書数を計数する。図６に示した例では、話題クラスｉ＝ａの文書数は２、話題クラスｉ＝ｂの文書数は３、話題クラスｉ＝ｃの文書数は２、話題クラスｉ＝ｄの文書数は１である。よって全体の文書数は８であると計数する。
【００３５】
カルバック・ライブラー情報量算出手段２２２は、或る話題ｉを含む出現確率分布Ｐ（ｉ）を求め、全文書Ｑにおける話題ｉの出現確率分布Ｑ（ｉ）との分布の差を話題クラスの重要度として次式で算出する。
【００３６】
【数１】
0005758349.tif 000002
【００３７】
この尺度は、或る話題クラスｉに関しての他の全ての話題クラスとの共起関係と全文書（Ｑ）における当該話題の共起関係との差を、話題クラスｉの重要度として反映するものである。共起関係の具体例を、図６に示した例で説明する。話題クラスｉ＝ａにおいてａを含む文書は文書Ｄ１とＤ２であるので共起数は２である。話題クラスｉ＝ｂにおいてａを含む文書は文書Ｄ１とＤ２であるので共起数は２である。話題クラスｉ＝ｃにおいてａを含む文書はＤ２だけであるので共起数は１である。話題クラスｉ＝ｄにおいてａを含む文書は無いので共起数は０である。そして、すべての共起数は２＋２＋１＝５であるので、ａを含む、つまり話題クラスｉの出現確率分布Ｐ（ｉ）はＰ（ｉ）＝２/５、全文書Ｑにおける話題ｉの出現確率分布Ｑ（ｉ）はＱ（ｉ）＝２/８となる。
【００３８】
この値を、式（１）に代入して話題クラスｉ＝ａの重要度を計算すると0.073となる。同様に話題クラスｉ＝ｂの重要度は0.0、話題クラスｉ＝ｃの重要度は0.016、話題クラスｉ＝ｄの重要度は0.167となる。この重要度を計算した共起数の関係を表１に示す。
【００３９】
【表１】
0005758349.tif 000003
重要度の順番は、この例では、ｄ（政治）＞ａ（天気）＞ｃ（スポーツ）＞ｂ（経済）となった。
【００４０】
この実施例の重要度がこのようになる理由を、図７に模式的に示す。７０は推定文脈であり、複数存在している。参照符号は省略している。話題クラスＰｅを示す一点鎖線の楕円は、他の話題クラスＰｆとＰｇと共起関係があることを示している。話題クラスＰｅのように他の話題クラスとの共起関係が多い話題は、独立した話題クラスＰｆ，Ｐｇに比較して重要度が低くなる。共起関係の多い話題は、形式的な内容や間投詞、感動詞等の偶発が含まれるため重要度は相対的に低くなる。
【００４１】
話題/文書ベクトル/重要度/対応表作成装置２００が出力する話題クラスと話題ベクトルとその重要度を対応付けて記録することで話題/文書ベクトル/重要度/対応表１３０が作成できる。
【００４２】
〔特徴量抽出部〕
特徴量抽出部１１０は、複数の話題を含む入力文書の或る話題に対応する部分の文書を参照文書として当該参照文書の文書ベクトルを抽出し、当該参照文書と上記文書ベクトルとを出力する。特徴量抽出部１１０は、上記した話題/話題ベクトル/重要度/対応表作成装置２００の話題クラス抽出部２１０と、ほぼ同じものである。特徴量抽出部１１０は、複数の話題を含む入力文書を入力として、話題クラス抽出部２１０の文脈抽出手段１１１〜文脈結合手段１１４までの処理を行う。その処理の結果、文書ベクトルとそのベクトルに対応する参照文書とが、話題・文書ベクトル・重要度出力部１２０に出力される。
【００４３】
〔話題・話題ベクトル・重要度出力部〕
話題・話題ベクトル・重要度出力部１２０は、特徴量抽出部１１０が出力する文書ベクトルと、話題/話題ベクトル/重要度対応表１３０に記録された話題ベクトルとのベクトル間の類似度を求め、当該類似度の大きい話題ベクトルに対応する話題クラスと文書ベクトルと重要度と、上記話題ベクトルの参照文書とを出力する。
【００４４】
ベクトル間の類似度は、例えば次式に示すコサイン類似度を用いて評価する。
【００４５】
【数２】
0005758349.tif 000004
【００４６】
ａｎは文書ベクトル、Ｐ（ｉ）は話題ベクトルである。
【００４７】
〔カテゴリ−文書ベクトル対応表〕
カテゴリ−標本文書ベクトル対応表１５０は、上記した話題/話題ベクトル/重要度対応表１３０から作成する。話題/話題ベクトル/重要度対応表１３０の話題ベクトルを標本文書のカテゴリごとに分類し、当該分類された話題ベクトルの重心を、上記カテゴリに対応させた標本文書ベクトルとして記録したものがカテゴリ−標本文書ベクトル対応表１５０である。
【００４８】
〔類似度比較分類部１４０〕
類似度比較分類部１４０は、話題クラスごとに話題・話題ベクトル・重要度出力部１２０が出力する単語ベクトルと、カテゴリ−文書ベクトル対応表１５０に記録された標本文書ベクトルとの間の類似度を求め、当該類似度に当該話題クラスの重要度を乗じた値を、話題クラスごとに累積した値を文書類似度として求め、当該文書類似度の最も大きなカテゴリに話題・話題ベクトル・重要度出力部１２０が出力する参照文書を分類する。
【００４９】
類似度の計算方法としては種々の方法を適用できるが、この実施例では、文書ベクトル間のコサイン類似度を各々の話題の重要度で正規化した値を加算して、文書の文書類似度とする。
【００５０】
２つの文書間の類似度計算において、双方に含まれる話題クラスａの話題ベクトル（ａ１，ａ２）間のコサイン類似度ｃｏｓ（ａ１，ａ２）を話題の類似度Ｓ（ａ１，ａ２）とし、すべての文書Ｑにおける話題の確率分布と話題クラスａを含む文書集合Ａにおける話題の確率分布とのカルバック・ライブラー情報量ＤＫＬ（Ａ‖Ｑ）を話題の重要度Ｉ（ａ）として、話題の類似度を各々の話題の重要度で重み付け加算して文書間の文書類似度とする。
【００５１】
例えば、１カテゴリ１文書の場合、標本文書Ｄ１、参照文書Ｄ２がそれぞれ話題クラスａ，ｂの話題（ａ１，ｂ１），（ａ２，ｂ２）を持つとき、その文書類似度は式（３）で表される。
【００５２】
【数３】
0005758349.tif 000005
【００５３】
また、１カテゴリ複数文書の場合、複数の標本文書Ｄ１，Ｄ２で構成されるカテゴリＣ１において、カテゴリＣ１の話題ベクトル（ａｃ１，ｂｃ１）を、標本文書Ｄ１，Ｄ２の話題ベクトルの相加平均ａｃ１＝１/２・（ａ１＋ａ２），ｂｃ１＝１/２・（ｂ１＋ｂ２）とし、カテゴリＣ１と、参照文書Ｄ３の文書類似度は、式（４）で表される。
【００５４】
【数４】
0005758349.tif 000006
【００５５】
重要度Ｉ（・）は、標本文書のすべての文書と入力文書（参照文書）に含まれる話題の共起関係から算出されるものであり、この重要度Ｉ（・）を用いて入力文書を話題ごとに分類することで、重要度の低い話題が文書の類似性判定の対象になることを防止し、従来の人の主観による文書カテゴライズの分類結果と異なってしまう課題を解決することができる。また、重要度の低い単語の影響によって低下していた類似度の信頼性を向上させることができ、重要度の低い話題を排除するために、人為的に単語や話題を選択する作業を不要にすることができる。
【実施例２】
【００５６】
上記した文書カテゴライズ装置１００は、標本文書のすべての文書と入力文書（参照文書）に含まれる話題の共起関係から文書類似度を算出する必要があり、計算量が多くなる場合がある。そこで、計算量を減らす工夫をした文書カテゴライズ装置３００を次に説明する。
【００５７】
図８に、文書カテゴライズ装置３００の機能構成例を示す。文書カテゴライズ装置３００は、文書カテゴライズ装置１００に対して類似度算出不要話題クラス選択部３１０と、カテゴリ−話題クラス対照表３２０と、を備える点で異なる。また、その構成の違いにより制御部１６０が、制御部１６０′となる点で異なる。その他の構成部は、参照符号から明らかなように文書カテゴライズ装置１００と同じである。
【００５８】
〔カテゴリ−話題クラス対照表〕
図９に、カテゴリ−話題クラス対照表３２０の構造を例示する。例えば、行方向にカテゴリが配列され、列方向に話題クラスｉが配列されて、カテゴリ−話題クラス対照表３２０が構成される。
【００５９】
例えば、カテゴリＣ１は『政治』、カテゴリＣ２は『スポーツ』、カテゴリＣ３は『天気』、といったものである。そのカテゴリに対する話題クラスは、例えば「選挙」、「首相」、「サッカー」、「野球」、「低気圧」、「台風」といったものである。
【００６０】
カテゴリ−話題クラス対照表３２０は、対象とする参照文書に応じて事前に作成しておく。その作成は人手で行っても良いし、大量の文書を形態素解析した結果からコンピュータを用いて生成するようにしても良い。
【００６１】
〔類似度算出不要話題クラス選択部〕
図１０に、類似度算出不要話題クラス選択部３１０の動作フローを示す。その動作フローを参照して動作を説明する。
【００６２】
類似度算出不要話題クラス選択部３１０は、カテゴリ−話題クラス対照表３２０を参照して、ある話題クラスを含むカテゴリを横断的に探索して所定の数よりも少ない当該ある話題クラスを含むカテゴリを抽出する（ステップＳ３１０）。この処理は、例えば話題クラスｉ＝３の話題を含むカテゴリを、図９の例では縦方向に探索して行き、そのカテゴリの数が所定の数（例えば５個）より少ないカテゴリを抽出する。図９では、話題クラスｉ＝３を含むカテゴリは、カテゴリＣ２のみである場合を例示している。所定の数は、処理対象の参照文書のカテゴリの数に応じて定められる数である。
【００６３】
このカテゴリＣ２にだけ含まれる話題クラスの集合をｇｅ（２）、それ以外の集合をｇｏ（２）とした時、例えば、話題クラスをｉ＝１〜４とした場合、ｇｅ（２）＝｛３｝，ｇｏ（２）＝｛１，２，４｝である。各々の話題クラスの話題ベクトルをＶ（ｉ）（ｉ＝１，２，…，ｋ）とする。図１１に、文書と話題クラスの対応関係を、文書−話題クラス対照表として表す。文書毎に話題クラスの話題ベクトルが順番に配列される。２行目の文書Ｄ２は、話題クラスｉ＝２，３，４を含まないことを表している。この図１１に示す関係は参照文書でも同じである。この文書と話題クラスの対応関係は、話題・話題ベクトル・重要度出力部１２０の出力する情報に含まれている。
【００６４】
次に類似度算出不要話題クラス選択部３１０は、抽出したカテゴリｊ以外のカテゴリが含む話題クラスを持つ文書のカテゴリ類似度の最大値を求める（式（５））（ステップＳ３１１）。
【００６５】
【数５】
0005758349.tif 000007
【００６６】
ここで、ｓ≠ｊは抽出したカテゴリ以外のカテゴリを意味する。Ｗｉは話題クラスｉの重要度（重み）、１は話題ベクトルの類似度の最大値である。よって、抽出したカテゴリ以外のカテゴリの類似度の最大値を求めることが出来る。
【００６７】
次に、抽出したカテゴリに含まれる話題クラスを持つ文書のカテゴリ類似度の最小値を求める（式（６））（ステップＳ３１２）。
【００６８】
【数６】
0005758349.tif 000008
【００６９】
ここで、εは、例えば分割最適化クラスタリングによって話題クラスを分割する場合の、クラス内の任意の２つの話題ベクトルの類似度の最小値である。εは、１よりもかなり小さな値である。
【００７０】
次に、上記最小値が上記最大値よりも大きなカテゴリに含まれる話題クラスを類似度算出不要話題クラスとして当該カテゴリに対応付ける（ステップＳ３１３）。ここで、ε≪１の関係から明らかなように、この関係が成り立つ類似度を持つ話題クラスは、そのカテゴリに強く関連する話題クラスであり、文書類似度を計算するまでもなくそのカテゴリに分類することが出来る。その話題クラスｉは、「話題クラスｉ」∈「あるカテゴリにだけ含まれる話題クラスの集合」として対応付けられる。
【００７１】
次に類似度算出不要話題クラス選択部３１０は、話題・話題ベクトル・重要度出力部１２０が出力する参照文書を入力として、当該参照文書に含まれる話題クラスが上記類似度算出不要話題クラスと一致すると、当該参照文書を上記当該カテゴリに分類して外部（カテゴライズ結果蓄積部１７０）に出力すると共に、上記類似度算出不要話題クラスを含まない参照文書を類似度比較分類部１４０に出力する（ステップＳ３１４）。
【００７２】
以上説明したように、類似度算出不要話題クラス選択部３１０と、カテゴリ−話題クラス対照表３２０と、を備えることで、参照文書の話題クラスから、文書類似度計算の要不要を判定することができるので、計算量を削減することが出来る。
【００７３】
なお、εで求めた類似度の最大値が、εの値が小さい故に得られない場合が想定される。その場合は、参照文書が入力された時に類似度の最小値を式（７）で求めれば良い。その時の最大値は、式（８）で求めた最大値を用いる。
【００７４】
【数７】
0005758349.tif 000009
【００７５】
ここで｜ｇｅ（ｊ）｜は、あるカテゴリにだけ含まれる話題クラスの集合ｇｅ（ｊ）が含む話題クラスの個数、Ｖｒ（ｉ）は、ある参照文書の話題ベクトルである。
【００７６】
また、類似度比較分類部１４０における類似度計算は、上記した式（３）及び式（４）で計算しても良いし、式（９）に示す類似スコアＲＳを計算して類似度を判定しても良い。
【００７７】
【数８】
0005758349.tif 000010
【実施例３】
【００７８】
文書カテゴライズ装置３００よりも更に計算量を減らすことの可能な文書カテゴライズ装置４００を次に説明する。文書カテゴライズ装置４００の図示は省略する。文書カテゴライズ装置４００は、文書カテゴライズ装置３００の類似度算出不要話題クラス選択部３１０が、類似度算出不要話題クラス選択部４１０に置き代わったものである。
【００７９】
類似度算出不要話題クラス選択部４１０は、参照文書が入力された時に、当該参照文書に含まれる話題クラスを含むカテゴリの範囲を特定する処理を行う点でのみ異なる。カテゴリの範囲を特定した後は、カテゴリ−話題クラス対照表のその特定範囲のみを処理の対象とする。
【００８０】
参照文書に含まれる話題クラスの集合をｒとするとき、ｒの一部ないし全部を話題クラスに含むカテゴリの集合Ｃｒ（式（１０））に絞り込むことで、計算量を削減することが出来る。
【００８１】
【数９】
0005758349.tif 000011
【００８２】
カテゴリ−話題クラス対照表３２０の特定範囲を絞り込んだ後の処理は、類似度算出不要話題クラス選択部３１０と同じである。
【００８３】
文書カテゴライズ装置４００によれば、計算対象のカテゴリの範囲が、参照文書の入力された時点で絞り込まれるので、更に計算量を削減することが可能になる。なお、ある一定量の参照文書が入力された後は、式（１０）の計算を行わずに、参照文書の話題クラスから、直近の特定範囲のカテゴリ−話題クラス対照表を用いて良いかの判断を行うことも可能である。
【００８４】
また、実施例２に述べたεで求めた類似度の最大値が求められない場合に、参照文書が入力された時に類似度の最小値を式（７）で求める例を説明したが、その最小値を計算する前に、式（１０）で対象とするカテゴリ−話題クラス対照表の範囲を絞り込んでから、式（７）で最小値を求めるようにしても良い。そのようにすることで、実施例２で述べた方法よりも計算量を減らすことが出来る。
【００８５】
上記各装置及び方法において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００８６】
また、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００８７】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００８８】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００８９】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0005758349.tif 000013
【図２】
0005758349.tif 000014
【図３】
0005758349.tif 000015
【図４】
0005758349.tif 000016
【図５】
0005758349.tif 000017
【図６】
0005758349.tif 000018
【図７】
0005758349.tif 000019
【図８】
0005758349.tif 000020
【図９】
0005758349.tif 000021
【図１０】
0005758349.tif 000022
【図１１】
0005758349.tif 000023
【図１２】
0005758349.tif 000024