(57)【要約】【課題】  既存文書群に付された既存トピック群を用いて、文書群に適合するトピック群を抽出することが可能な方法を提供することを課題とする。また、文書群に適合するトピック毎に文書群を分類する方法を提供することを課題とする。【解決手段】  文書群処理方法は、既存トピック群の確率モデルを構築する既存トピック群確率モデル構築ステップと、既存トピック群確率モデル構築ステップによって構築された確率モデルを用いて、文書群に適合するトピック群を抽出する適合トピック群抽出ステップと、適合トピック群抽出ステップによって抽出された適合トピック群毎に、文書群を分類する文書群分類ステップとを含む方法とした。【選択図】      図１
2006338157.tif 000002
【特許請求の範囲】
【請求項１】
既存文書群に付された既存トピック群を用いて、文書群に適合するトピック群を抽出する文書群処理装置であって、
前記文書群処理装置は、
前記既存トピック群の確率モデルを構築する既存トピック群確率モデル構築部と、
前記既存トピック群確率モデル構築部において構築された前記確率モデルを用いて、前記文書群に適合するトピック群を抽出する適合トピック群抽出部と
を備えることを特徴とする文書群処理装置。
【請求項２】
既存文書群に付された既存トピック群を用いて、文書群に適合するトピック群を抽出する文書群処理装置による文書群処理方法であって、
前記文書群処理方法は、
前記既存トピック群の確率モデルを構築する既存トピック群確率モデル構築ステップと、
前記既存トピック群確率モデル構築ステップによって構築された前記確率モデルを用いて、前記文書群に適合するトピック群を抽出する適合トピック群抽出ステップと
を含むことを特徴とする文書群処理方法。
【請求項３】
既存文書群に付された既存トピック群を用いて、文書群に適合するトピック群を抽出し、抽出した適合トピック群毎に前記文書群を分類する文書群処理装置による文書群処理方法であって、
前記文書群処理方法は、
前記既存トピック群の確率モデルを構築する既存トピック群確率モデル構築ステップと、
前記既存トピック群確率モデル構築ステップによって構築された前記確率モデルを用いて、前記文書群に適合するトピック群を抽出する適合トピック群抽出ステップと、
前記適合トピック群抽出ステップによって抽出された適合トピック群毎に、前記文書群を分類する文書群分類ステップと
を含むことを特徴とする文書群処理方法。
【請求項４】
前記既存トピック群確率モデル構築ステップは、
前記既存文書群の単語出現頻度を用いて、単語生起確率を推定する単語生起確率推定ステップ
を含むことを特徴とする請求項２または３に記載の文書群処理方法。
【請求項５】
前記適合トピック群抽出ステップは、
単語生起確率を用いて、トピック群の尤度を算出する尤度算出ステップと、
前記尤度算出ステップによって算出された前記トピック群の尤度を用いて、トピック群を抽出するトピック群抽出ステップと
を含むことを特徴とする請求項２乃至４に記載の文書群処理方法。
【請求項６】
前記文書群分類ステップは、
尤度を用いた計算に基づいて、前記文書群を分類する分類ステップ
を含むことを特徴とする請求項３に記載の文書群処理方法。
【請求項７】
請求項２乃至６に記載の文書群処理方法をコンピュータに実行させるための文書群処理プログラム。
【請求項８】
請求項７に記載の文書群処理プログラムを格納した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書群が与えられたとき、それらをトピック毎にクラスタリングするための文書群処理装置、文書群処理方法、文書群処理プログラム及び文書群処理プログラムを格納した記録媒体に関する。
【背景技術】
【０００２】
文書群をトピック毎にクラスタリングすることは、ユーザが容易に目的の文書を探し出すことを可能にする。ここで、クラスタリングとは、似ているもの同士をまとめることによって、分類対象をグループ化する手法のことである。クラスタリングの多くは人手で行われているが、近年、膨大な数の電子文書が蓄積されつつあり、機械的にクラスタリングする技術が極めて重要となってきており、これまでに多くのクラスタリング手法が提案されている（例えば、非特許文献１参照）。
【非特許文献１】R.Duda, P.Hart, and D.Stork著，押上守夫監訳，「パターン識別」，第２版，（米国）， 新技術コミュニケーションズ,２００１年，Ｐ．５１９−６０１
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、例えば、非特許文献１で開示されている技術では、文書群を適切にクラスタリングすることができない。また、クラスタリングを行った結果生じた各クラスに適切なトピックを付与することはできない。
【０００４】
例えば、Ｗｅｂページの場合、検索サイトｇｏｏ（登録商標）（http://www.goo.ne.jp）のカテゴリ検索などのディレクトリ型検索エンジンにおいて、大量のページがトピック毎にラベル付けされている。しかし、ｇｏｏ（登録商標）のカテゴリ検索の第２レベルでも２４０以上のトピックが存在し、文書群を全てのトピックを用いてクラスタリングしたとしても、有用なクラスタリング結果は得られない。ユーザが容易に目的の文書を探し出すことを可能とするためには、トピック数が５から２０程度であることが望ましいと考えられる。したがって、適度な数のトピック群を得る必要があるため、これらの多数のトピックの中から文書群に適合するトピックを選び出す必要がある。
【０００５】
そこで本発明は、以上のような問題点に鑑みてなされたものであり、既存文書群に付された既存トピック群を用いて、文書群に適合するトピック群を抽出することが可能な文書群処理装置、文書群処理方法、文書群処理プログラム及び文書群処理プログラムを格納した記録媒体を提供することを課題とする。また、抽出した適合トピック群毎に文書群をクラスタリングすることをさらに可能とする文書群処理方法、文書群処理プログラム及び文書群処理プログラムを格納した記録媒体を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明は、前記課題を解決するために創案されたものであり、本発明の文書群処理装置は、既存トピック群の確率モデルを構築する既存トピック群確率モデル構築部と、既存トピック群確率モデル構築部において構築された確率モデルを用いて、文書群に適合するトピック群を抽出する適合トピック群抽出部とを備える構成とした。
【０００７】
このような構成によれば、文書群処理装置は、既存文書群に付された既存トピック群を用いて、文書群に適合するトピック群を抽出することが可能となる。ここで、文書群に適合するトピック群とは、文書群を説明するトピック群として好ましいトピックの集まりであり、適度な数の集まりを意味する。
【０００８】
また、本発明の文書群処理方法は、既存トピック群の確率モデルを構築する既存トピック群確率モデル構築ステップと、既存トピック群確率モデル構築ステップによって構築された確率モデルを用いて、文書群に適合するトピック群を抽出する適合トピック群抽出ステップとを含む方法とした。
【０００９】
このような方法によれば、文書群処理装置は、既存文書群に付された既存トピック群を用いて、文書群に適合するトピック群を抽出することが可能となる。
【００１０】
また、本発明の文書群処理方法は、既存トピック群の確率モデルを構築する既存トピック群確率モデル構築ステップと、既存トピック群確率モデル構築ステップによって構築された確率モデルを用いて、文書群に適合するトピック群を抽出する適合トピック群抽出ステップと、適合トピック群抽出ステップによって抽出された適合トピック群毎に、文書群を分類する文書群分類ステップとを含む方法とした。
【００１１】
このような構成によれば、文書群処理装置は、既存文書群に付された既存トピック群を用いて、文書群に適合するトピック群を抽出することが可能となる。さらに、抽出した適合トピック群毎に文書群をクラスタリングすることが可能となる。
【００１２】
また、本発明の文書群処理方法における既存トピック群確率モデル構築ステップは、既存文書群の単語出現頻度を用いて、単語生起確率を推定する単語生起確率推定ステップを含む方法とした。単語出現頻度及び単語生起確率については、発明を実施するための最良の形態において詳細に説明する。
【００１３】
このような方法によれば、文書群処理装置は、既存文書群の単語出現頻度を用いて、単語生起確率を推定することが可能となる。また、推定した得られた単語生起確率を用いて、文書群に適合するトピック群を抽出することが可能となる。
【００１４】
また、本発明の文書群処理方法における適合トピック群抽出ステップは、単語生起確率を用いて、トピック群の尤度を算出する尤度算出ステップと、尤度算出ステップによって算出されたトピック群の尤度を用いて、トピック群を抽出するトピック群抽出ステップとを含む方法とした。
【００１５】
このような方法によれば、文書群処理装置は、単語生起確率を用いて、トピック群の尤度を算出することが可能となる。また、算出によって得られたトピック群の尤度を用いて、文書群に適合するトピック群を抽出することが可能となる。
【００１６】
また、本発明の文書群処理方法における文書群分類ステップは、尤度を用いた計算に基づいて、文書群を分類する分類ステップを含む方法とした。
【００１７】
このような方法によれば、文書群処理装置は、尤度を用いた計算に基づいて、文書群を分類することが可能となる。
【００１８】
また、このような文書群処理方法をコンピュータに実行させる文書群処理プログラムによれば、コンピュータに文書群処理装置と同様の機能を実行させることが可能である。さらに、このような文書群処理方法をコンピュータに実行させるプログラムを格納した記録媒体によれば、コンピュータに文書群処理装置と同様の機能を実行させるプログラムを記録媒体内に記憶させることが可能である。
【発明の効果】
【００１９】
本発明によれば、既存文書群に付された既存トピック群を用いて、文書群に適合するトピック群を抽出することが可能となる。また、抽出した適合トピック群毎に文書群をクラスタリングすることが可能となる。
【発明を実施するための最良の形態】
【００２０】
次に、本発明を実施するための最良の形態（以下、「実施形態」という）について図面を参照して説明する。
【００２１】
図１は、本発明の実施形態に係る文書群処理装置のブロック図である。図１に示すように、文書群処理装置１は、演算手段２と、入力手段３と、記憶手段４と、出力手段５とを備えている。各手段はバスライン１１に接続されている。
【００２２】
演算手段２は、既存トピック群確率モデル構築部２１と、適合トピック群抽出部２２と、メモリ２３とを含んで構成される。演算手段２は、記憶手段４から既存トピック群確率モデル構築プログラム４１及び適合トピック群抽出プログラム４２を読み込み、メモリ２３に格納し、実行することで、既存トピック群確率モデル構築部２１及び適合トピック群抽出部２２を実現する。既存トピック群確率モデル構築部２１及び適合トピック群抽出部２２の構成についての詳細は、後記する。演算手段２は、例えば、演算処理を行うＣＰＵ（Central Processing Unit）と、情報を記憶するＲＡＭ（Random Access Memory）とを含んで構成される。
【００２３】
入力手段３は、キーボードやディスクドライブ装置などから構成される。前記した既存文書群及びクラスタリングする文書群は、入力手段３を介して入力され、記憶手段４に記憶される構成とすることが可能である。
【００２４】
記憶手段４は、ハードディスク装置などから構成される。記憶手段４は、既存トピック群確率モデル構築部２１及び適合トピック群抽出部２２のもとになる既存トピック群確率モデル構築プログラム４１及び適合トピック群抽出プログラム４２を記憶させておくことが可能である。また、記憶手段４は、既存文書群テーブル４３と、単語生起確率テーブル４４と、文書群テーブル４５とを含んで構成される。
【００２５】
ここで、既存文書群テーブル４３は、トピックのラベルの付いたページ集合を格納するためのテーブルであり、ディレクトリ型検索エンジンなどに登録されているページ集合を格納するためのテーブルである。
【００２６】
また、単語生起確率テーブル４４は、既存トピック群確率モデル構築部２１によって算出された単語生起確率を格納するためのテーブルである。
【００２７】
さらに、文書群テーブル４５は、クラスタリングを行うページ集合を格納するためのテーブルであり、ディレクトリ型検索エンジンなどで検索して得られたページ集合を格納するためのテーブルである。
【００２８】
出力手段５は、例えば、グラフィックボード及びそれに接続されたモニタであり、文書群のクラスタリングを行った結果などを表示するものである。
【００２９】
以下、図２及び図３を参照しながら、既存トピック群確率モデル構築部２１と、適合トピック群抽出部２２との構成について説明する。ここで、既存トピック群確率モデル構築部２１は、演算手段２によって呼び出され、既存トピック群確率モデル構築部２１の処理が終了すると、適合トピック群抽出部２２が、演算手段２によって呼び出される。
【００３０】
（既存トピック群確率モデル構築部２１の説明）
図２は、本発明の実施形態に係る既存トピック群確率モデル構築部のブロック図である。図２に示すように、既存トピック群確率モデル構築部２１は、既存文書群読込部２１１と、単語生起確率推定部２１２と、単語生起確率書込部２１３とを備えている。
【００３１】
（既存文書群読込部２１１の説明）
既存文書群読込部２１１は、既存文書群テーブル４３（図１参照）から、既存文書群Ｘ’を読み込み、メモリ２３に格納するものである。既存文書群テーブル４３（図１参照）は、前記した通り、ラベルの付いたページ集合である。Ｘ’は、Ｘ’k（ｋ＝１，…，Ｋ’）で定義される。ここで、Ｋ’は既存文書群全体のトピック数である。また、Ｘ’kはトピックｋに属している文書集合であり、以下の式（１）によって定義される。
【００３２】
【数１】
2006338157.tif 000003
【００３３】
ここでＮ’kは、トピックｋに属するページ数を表す。各要素ｘ’knは、トピックｋに属するページｘ’nにおけるＶ次元の単語出現頻度ベクトルであり、Ｖは総単語数を表す。総単語数とは、既存文書群Ｘ’全体の単語の総数を意味する。単語出現頻度ベクトルｘ’knは、以下の式（２）によって定義される。
【００３４】
【数２】
2006338157.tif 000004
【００３５】
ここでｘ’knjは、トピックｋに属するページｘ’nにおける単語ｗjの出現頻度を表す。出現頻度とは、あるページ範囲内に特定の単語が出現する回数を表したものである。
【００３６】
（単語生起確率推定部２１２の説明）
単語生起確率推定部２１２は、既存文書群読込部２１１によってメモリ２３に格納された既存文書群Ｘ’k（ｋ＝１，…，Ｋ’）に基づいて、単語生起確率θkjを算出し、メモリ２３に格納するものである。ここで単語生起確率θkjは、トピックｋに属するページにおける単語ｗjの出現確率を意味するものである。単語生起確率θkjは、各トピックの確率モデルとして、例えば、ＮＢ（Naive Bayes）モデルを採用し、以下の式（３）によって推定することが可能である。
【００３７】
【数３】
2006338157.tif 000005
【００３８】
なお、ＮＢモデルについては、例えば、「McCallum,A., Nigam, K.(1998) A comparison of event models for naive Bayes text classification. In:AAAI-98 Workshop on Learning for Text Categorization」に記載されている。λkはスムージングパラメータであり、クロスバリデーション法を用いて算出することが可能である。クロスバリデーション法については、例えば、前記した非特許文献１に記載されている。
【００３９】
（単語生起確率書込部２１３の説明）
単語生起確率書込部２１３は、単語生起確率推定部２１２によって推定され、メモリ２３に格納された単語生起確率θkjを、単語生起確率テーブル４４（図１参照）に格納するものである。単語生起確率テーブル４４（図１参照）に格納された単語生起確率θkjは、適合トピック群抽出部２２で利用される。
【００４０】
（適合トピック群抽出部２２の説明）
図３は、本発明の実施形態に係る適合トピック群抽出部のブロック図である。図３に示すように、適合トピック群抽出部２２は、単語生起確率読込部２２１と、文書群読込部２２２と、既存トピック群取得部２２３と、対数尤度計算部２２４と、トピック群ソート部２２５と、トピック削除部２２６とを備えている。
【００４１】
（単語生起確率読込部２２１の説明）
単語生起確率読込部２２１は、単語生起確率テーブル４４（図１参照）から、単語生起確率θkjを読み込み、メモリ２３に格納するものである。
【００４２】
（文書群読込部２２２の説明）
文書群読込部２２２は、文書群テーブル４５（図１参照）から、文書群Ｘを読み込み、メモリ２３に格納するものである。文書群テーブル４５（図１参照）は、前記した通り、クラスタリングを行うページ集合である。Ｘは、ｘn（ｎ＝１，…，Ｎ）で定義される。ここで、Ｎは文書群全体のページ数である。また、ｘnはページＸnにおけるＶ次元の単語出現頻度ベクトルであり、Ｖは総単語数を表す。総単語数とは、前記した通り、既存文書群Ｘ’全体の単語の総数を意味する。単語出現頻度ベクトルｘnは、単語出現頻度ｘnjを用いて、以下の式（４）によって定義される。
【００４３】
【数４】
2006338157.tif 000006
ここで、単語出現頻度ｘnjは、ページＸnにおける単語ｗjの出現頻度を意味する。
【００４４】
（既存トピック群取得部２２３の説明）
既存トピック群取得部２２３は、単語生起確率読込部２２１によってメモリ２３に格納された単語生起確率θkjから既存トピック群Ｇ’を取得し、メモリ２３に格納するものである。ここで、既存トピック群取得部２２３が取得した既存トピック群Ｇ’は、Ｇ’＝｛１，…，Ｋ’｝によって定義される。単語生起確率θkjは、トピックｋと単語ｗjとを指定すると得られる値であるので、既存トピック群Ｇ’｛１，…，Ｋ’｝の情報を有している。また、適合トピック群Ｇに、既存トピック群Ｇ’を代入することによって、適合トピック群Ｇに初期値を設定する。適合トピック群Ｇは、文書群Ｘに適合するトピックを抽出するために使用され、Ｇ⊂｛１，…，Ｋ’｝を満たすものである。
【００４５】
（対数尤度計算部２２４の説明）
対数尤度計算部２２４は、単語生起確率読込部２２１によってメモリ２３に読み込まれた単語生起確率θkjと、文書群読込部２２２によってメモリ２３に読み込まれた文書群Ｘとを利用して、対数尤度ｌｏｇｐ(ｘn｜ｋ)を計算し、メモリ２３に格納するものである。対数尤度ｌｏｇｐ(ｘn｜ｋ)は、文書群ＸのページＸn（ｎ＝１，…，Ｎ）と、既存文書群Ｘ’のトピックｋ（ｋ＝１，…，Ｋ’）との全ての組み合わせについて算出される。対数尤度ｌｏｇｐ(ｘn｜ｋ)は、以下の式（５）によって計算される。
【００４６】
【数５】
2006338157.tif 000007
【００４７】
（トピック群ソート部２２５の説明）
トピック群ソート部２２５は、対数尤度計算部２２４によって算出されてメモリ２３に格納された対数尤度ｌｏｇｐ(ｘn｜ｋ)を利用して、推定トピックｃn（Ｇ）を計算し、メモリ２３に格納するものである。推定トピックｃn（Ｇ）は、以下の式（６）によって計算される。
【００４８】
【数６】
2006338157.tif 000008
【００４９】
また、トピック群ソート部２２５は、メモリ２３に格納された推定トピックｃn（Ｇ）を利用して、推定トピックｋに対応するページ数Ｎk（ｋ＝１，…，Ｋ’）を計算し、メモリ２３に格納するものである。
【００５０】
また、トピック群ソート部２２５は、推定トピックｋに対応するページが存在しない場合、すなわち推定トピックｋに対応するページ数Ｎkが正ではない場合に、推定トピックｋをメモリ２３内の適合トピック群Ｇから削除する処理を、推定トピックｋ（ｋ＝１，…，Ｋ’）について行うものである。ここで、Ｋ’は、既存トピック群Ｇ’の要素数である。この処理によって、トピック群ソート部２２５は、対応するページが存在する適合トピック群Ｇ＝｛１，…，Ｋ｝を抽出することが可能である。
【００５１】
さらに、トピック群ソート部２２５は、メモリ２３内の推定トピックｋのページ数Ｎkの昇順に適合トピック群ＧをソートしたリストＬ＝｛Ｌ1，…，ＬK｝を作成し、メモリ２３に格納するものである。
【００５２】
（トピック削除部２２６の説明）
トピック削除部２２６は、ＡＩＣ（Akaike's Information Criterion）の値が最小になる適合トピック群Ｇを選択することによって、最適な適合トピック群Ｇを抽出するために、適合トピックに該当しないトピックを削除するものである。なお、ＡＩＣについては、例えば、「Akaike,H.(1973).Information theory and extension of the maximum likelihood principle」に記載されている。
【００５３】
ＡＩＣの値が最小になるモデルを選択する方法としては、例えば、ＡＩＣ（Ｇ）とＡＩＣ（Ｇ−m）とを比較し、ＡＩＣ（Ｇ）＞ＡＩＣ（Ｇ−m）を満たす場合に、適合トピック群ＧからＬmを削除する処理を、ｍ＝１，…，Ｋについて順番に、すなわちページ数Ｎkの少ないトピックから順番に行うというものが考えられる。ここで、Ｇ−mは、適合トピック群ＧからＬmを取り除いたものである。ＡＩＣ（Ｇ）の値は、メモリ２３内の適合トピック群Ｇ、対数尤度ｌｏｇｐ(ｘn｜ｋ)及び推定トピックｃn（Ｇ）を利用して、以下の式（７）を用いて計算される。
【００５４】
【数７】
2006338157.tif 000009
ここで、｜Ｇ｜は適合トピック群Ｇの要素数を表すものである。ＡＩＣ（Ｇ−m）の値も同様の方法で計算することが可能である。
【００５５】
なお、適合トピック群Ｇが変更された場合には、推定トピックｃn（Ｇ）及びＡＩＣ（Ｇ）の値も変更されるので、適合トピック群ＧからＬmを削除した後に、推定トピックｃn（Ｇ）及びＡＩＣ（Ｇ）の値を再度利用する場合などには、メモリ２３内の推定トピックｃn（Ｇ）及びＡＩＣ（Ｇ）の値を正しい値に更新してから利用する必要がある。トピック群Ｇ−mについても同様である。
【００５６】
また、トピック削除部２２６は、対応するページが存在しないトピックｋを、適合トピック群Ｇから予め削除しておくことにより、対応するページが存在しないトピックｋを含んだ適合トピック群Ｇに対するソート処理及びＡＩＣ（Ｇ）の計算処理を省略することが可能となる。
【００５７】
さらに、適合トピック群抽出部２２によって抽出された適合トピック群Ｇと、文書群Ｘとを、式（７）に適用すれば、適合トピック群Ｇ毎に文書群Ｘをクラスタリングすることが可能となる。
【００５８】
次に、図４を参照（適宜図１参照）しながら、演算手段２（図１参照）が行う処理について説明する。図４は、本発明の実施形態に係る演算手段の処理を表すフローチャートである。
【００５９】
図４に示すように、演算手段２は、まず、既存トピック群確率モデル構築部２１による既存トピック群確率モデル構築処理を行う（Ｓ１０）。続いて、適合トピック群抽出部２２による適合トピック群抽出処理を行い（Ｓ２０）、処理を終了する。以下、Ｓ１０の処理の詳細について、図５を用いて説明する。また、Ｓ２０の処理の詳細について、図６、７及び８を用いて説明する。
【００６０】
図５を参照（適宜図１及び２参照）しながら、既存トピック群確率モデル構築部２１（図１参照）が行う処理について説明する。図５は、本発明の実施形態に係る既存トピック群確率モデル構築部の処理を表すフローチャートである。
【００６１】
図５に示すように、既存文書群読込部２１１は、既存文書群Ｘ’を既存文書群テーブル４３から読み込み、メモリ２３に格納する（Ｓ１１）。続いて、単語生起確率推定部２１２は、メモリ２３に格納された既存文書群に基づいて、単語生起確率θkjを推定し、メモリ２３に格納する（Ｓ１２）。単語生起確率θkjは、前記した式（３）によって計算することが可能である。そして、単語生起確率書込部２１３は、メモリ２３に格納された単語生起確率θkjを単語生起確率テーブル４４に書き込み（Ｓ１３）、処理を終了する。
【００６２】
図６、７及び８を参照（適宜図１及び３参照）しながら、適合トピック群抽出部２２（図１参照）が行う処理について説明する。図６、７及び８は、本発明の実施形態に係る適合トピック群抽出部の処理を表すフローチャートである。
【００６３】
図６に示すように、単語生起確率読込部２２１は、単語生起確率θkjを単語生起確率テーブル４４から読み込み、メモリ２３に格納する（Ｓ２０１）。続いて、文書群読込部２２２は、文書群Ｘを文書群テーブル４５から読み込み、メモリ２３に格納する（Ｓ２０２）。
【００６４】
既存トピック群取得部２２３は、メモリ２３内の単語生起確率θkjから既存トピック群Ｇ’を取得し、メモリ２３に格納する（Ｓ２０３）。また、メモリ２３内に適合トピック群Ｇを確保し、既存トピック群Ｇ’を代入して初期値を設定する（Ｓ２０４）。
【００６５】
対数尤度計算部２２４は、メモリ２３内の単語生起確率θkj及び文書群Ｘを用いて、対数尤度ｌｏｇｐ(ｘn｜ｋ)を計算し、メモリ２３に格納する（Ｓ２０５）。対数尤度ｌｏｇｐ(ｘn｜ｋ)は、前記した式（５）によって計算することが可能である。
【００６６】
次に、図７に示すように、トピック群ソート部２２５は、メモリ２３内の対数尤度ｌｏｇｐ(ｘn｜ｋ)を用いて、推定トピックｃn（Ｇ）を計算し、メモリ２３に格納する（Ｓ２０６）。推定トピックｃn（Ｇ）は、前記した式（６）によって計算することが可能である。続いて、メモリ２３内の推定トピックｃn（Ｇ）を用いて、推定トピックｋのページ数Ｎkを計算し、メモリ２３に格納する（Ｓ２０７）。
【００６７】
トピック群ソート部２２５は、メモリ２３内にカウンタｔを確保し、ｔに１を設定する（Ｓ２０８）。続いて、ページ数Ｎtが正であるかを判定する（Ｓ２０９）。ページ数Ｎtが正ではない場合（Ｓ２０９でＮｏの場合）、メモリ２３内の適合トピック群Ｇからトピックｔを削除して（Ｓ２１０）、Ｓ２１１に進む。ページ数Ｎtが正の場合（Ｓ２０９でＹｅｓの場合）、何もせず、Ｓ２１１に進む。Ｓ２１１に進んだ場合、カウンタｔに１を加算し（Ｓ２１１）、カウンタｔが既存トピック群Ｇ’の要素数Ｋ’を超えたか否かを判定する（Ｓ２１２）。ｔが既存トピック群Ｇ’の要素数Ｋ’を超えていない場合（Ｓ２１２でＮｏの場合）、Ｓ２０９に戻る。ｔが既存トピック群Ｇ’の要素数Ｋ’を超えた場合（Ｓ２１２でＹｅｓの場合）、Ｓ２１３に進む。
【００６８】
Ｓ２１３に進んだ場合、トピック群ソート部２２５は、メモリ２３内の推定トピックｋのページ数Ｎkの昇順に適合トピック群ＧをソートしたリストＬ＝[Ｌ1，…，ＬK]を作成し、メモリ２３に格納する（Ｓ２１３）。
【００６９】
次に、図８に示すように、Ｓ２１４に進んだ場合、トピック削除部２２６は、メモリ２３内の適合トピック群Ｇ、対数尤度ｌｏｇｐ(ｘn｜ｋ)及び推定トピックｃn（Ｇ）を用いて、ＡＩＣ（Ｇ）を計算し、メモリ２３に格納する（Ｓ２１４）。ＡＩＣ（Ｇ）は、前記した式（７）によって計算することが可能である。続いて、メモリ２３内にカウンタｍを確保し、ｍに１を設定する（Ｓ２１５）。
【００７０】
トピック削除部２２６は、Ｌmを適合トピック群Ｇから削除したトピック群Ｇ−mとし、メモリ２３内の対数尤度ｌｏｇｐ(ｘn｜ｋ)を用いて、推定トピックｃn（Ｇ−m）を計算して、メモリ２３に格納する（Ｓ２１６）。続いて、Ｇ−m、対数尤度ｌｏｇｐ(ｘn｜ｋ)及び推定トピックｃn（Ｇ−m）を用いて、ＡＩＣ（Ｇ−m）を計算し、メモリ２３に格納する（Ｓ２１７）。そして、ＡＩＣ（Ｇ）と、ＡＩＣ（Ｇ−m）との値を比較し、ＡＩＣ（Ｇ−m）がＡＩＣ（Ｇ）より小さくない場合（Ｓ２１８でＮｏの場合）、Ｓ２２２に進む。ＡＩＣ（Ｇ−m）がＡＩＣ（Ｇ）より小さい場合（Ｓ２１８でＹｅｓの場合）、適合トピック群ＧからＬmを削除し（Ｓ２１９）、ｃn（Ｇ）の値をｃn（Ｇ−m）で更新し（Ｓ２２０）、ＡＩＣ（Ｇ）の値をＡＩＣ（Ｇ−m）で更新し（Ｓ２２１）、Ｓ２２２に進む。
【００７１】
Ｓ２２２に進んだ場合、カウンタｍに１を加算し（Ｓ２２２）、カウンタｍがリストＬの要素数Ｋを超えたか否かを判定する（Ｓ２２３）。ｍがリストＬの要素数Ｋを超えていない場合（Ｓ２２３でＮｏの場合）、Ｓ２１６に戻る。ｍがリストＬの要素数Ｋを超えた場合（Ｓ２２３でＹｅｓの場合）、メモリ２３内の対数尤度ｌｏｇｐ(ｘn｜ｋ)及び抽出された適合トピック群Ｇを用いて、推定トピックｃn（Ｇ）を計算し、メモリ２３に格納して（Ｓ２２４）、処理を終了する。
【００７２】
以上のステップにより、文書群処理装置１は、適合トピック群Ｇを抽出することが可能である。また、抽出された適合トピック群Ｇと、文書群Ｘとを、式（７）に適用することで、適合トピック群Ｇ毎に文書群Ｘをクラスタリングすることが可能となる。
【００７３】
なお、本実施形態における文書群処理装置１は、抽出された適合トピック群Ｇと、文書群Ｘとを、式（７）に適用することで、適合トピック群Ｇ毎に文書群Ｘをクラスタリングする機能も備えることとしたが、単に、文書群Ｘに適合する適合トピック群Ｇを抽出する機能を有する装置として、文書群処理装置を実現することも可能である。
【００７４】
また、本実施形態においては、適合トピック群Ｇを選択する方法として、ＡＩＣを用いることとしたが、適合トピック群Ｇの選択方法はこれに限定されるものではない。例えば、ＡＩＣの代わりにＭＤＬ（Minimum Description Length）などのモデル選択基準を用いることも可能である。なお、ＭＤＬについては、例えば、「Rissanen,J.,(1983).A universal prior for integers and estimation by minimum description length,The annals of Statistics,Vol.11,NO.2,pp.416-431」に記載されている。
【００７５】
また、本実施形態では、適合トピック数に制限を設けないこととしたが、適合トピック数に制限を設け、適合トピック数が制限した値以下になったら、適合トピックを選択する処理を終了することも可能である。適合トピック数に制限を設けることで、適度なトピック数の適合トピックを抽出することが可能となる。
【００７６】
（文書群処理装置の評価）
本発明の実施形態における文書群処理装置の有効性を評価するため、Ｗｅｂの検索結果で得られたページ群のクラスタリングを行った。用いた既存トピック群は、ｇｏｏ（登録商標）のカテゴリ検索の第２レベルの242トピックであり、この中に含まれる74233ページを用いて各トピックの確率モデルを構築した。ここでの総単語数Ｖは50129であった。
【００７７】
「ハブ」を検索語にしたときの検索結果約1000ページを本発明の実施形態における文書群処理装置でクラスタリングした結果、「生物学」、「ペット」、「料理、グルメ」、「オークション」、「専門店」、「パソコンショップ」、「ハードウェア」、「ネットワーク関連」、「ビジネスニュース」、「人文科学」、「辞書、辞典」、「ブロードバンドの知識」の計１２のトピックが抽出された。
【００７８】
従来のクラスタリング手法を用いた場合に、各トピックラベル（生物学やペットなど）を付けることは困難であるが、本発明の実施形態におけるクラスタリングには、人手で付けられた分かりやすいラベルが付けられる。
【００７９】
各トピックラベルに対応するページとして、「生物学」、「ペット」にはヘビのハブに関するページ、「料理、グルメ」にはハブ茶に関するページ、「オークション」、「専門店」、「パソコンショップ」、「ハードウェア」、「ネットワーク関連」にはネットワークのハブに関するページ、「人文科学」には史資料ハブ地域文化研究拠点という研究プロジェクトに関するページが見付かった。
【００８０】
「ハブ」には様々な意味があるが、このようにトピック毎に分類されることにより、検索の効率化が期待できる。また、検索の効率化だけではなく、検索語がＷｅｂ上でどのような意味で使われているのかを知ることも可能である。この例の場合、例えば、史資料ハブ地域文化研究拠点という研究プロジェクトに関するページが見付かり、「人文科学」においても使われていることが発見できる。
【図面の簡単な説明】
【００８１】
【図１】本発明の実施形態に係る文書群処理装置のブロック図である。
【図２】本発明の実施形態に係る既存トピック群確率モデル構築部のブロック図である。
【図３】本発明の実施形態に係る適合トピック群抽出部のブロック図である。
【図４】本発明の実施形態に係る演算手段の処理を表すフローチャートである。
【図５】本発明の実施形態に係る既存トピック群確率モデル構築部の処理を表すフローチャートである。
【図６】本発明の実施形態に係る適合トピック群抽出部の処理を表すフローチャートである。
【図７】本発明の実施形態に係る適合トピック群抽出部の処理を表すフローチャートである。
【図８】本発明の実施形態に係る適合トピック群抽出部の処理を表すフローチャートである。
【符号の説明】
【００８２】
１      文書群処理装置
２      演算手段
３      入力手段
４      記憶手段
５      出力手段
１１    バスライン
２１    既存トピック群確率モデル構築部
２２    適合トピック群抽出部
２３    メモリ
４１    既存トピック群確率モデル構築プログラム
４２    適合トピック群抽出プログラム
４３    既存文書群テーブル
４４    単語生起確率テーブル
４５    文書群テーブル
２１１  既存文書群読込部
２１２  単語生起確率推定部
２１３  単語生起確率書込部
２２１  単語生起確率読込部
２２２  文書群読込部
２２３  既存トピック群取得部
２２４  対数尤度計算部
２２５  トピック群ソート部
２２６  トピック削除部
【図１】
2006338157.tif 000010
【図２】
2006338157.tif 000011
【図３】
2006338157.tif 000012
【図４】
2006338157.tif 000013
【図５】
2006338157.tif 000014
【図６】
2006338157.tif 000015
【図７】
2006338157.tif 000016
【図８】
2006338157.tif 000017