(57)【特許請求の範囲】
【請求項１】
文書データを確率的にクラスタリングするための複数のトピック各々を表すパラメータを含み、かつトピックが階層構造を有する階層的トピックモデルから、処理対象のトピックを表す対象パラメータを抽出する対象パラメータ抽出ステップと、
前記階層的トピックモデルから、前記処理対象のトピックと同位階層のトピックを表す同位階層パラメータを抽出する同位階層パラメータ抽出ステップと、
前記階層的トピックモデルから、前記処理対象のトピックに対応する下位階層のトピックを表す下位階層パラメータを抽出する下位階層パラメータ抽出ステップと、
前記対象パラメータ、前記同位階層パラメータ、及び前記下位階層パラメータを用いて、前記対象パラメータに含まれる各単語について、前記下位階層のトピック内分散と前記同位階層のトピック間分散とに基づくスコアを計算するスコア計算ステップと、
計算された前記対象パラメータに含まれる各単語の前記スコアに基づいて、前記処理対象のトピックにおける特徴語を抽出する特徴語抽出ステップと、
を含む特徴語抽出方法。
【請求項２】
前記スコアを、各単語の下位階層のトピックにおける分散が少ないほど、かつ同位階層のトピック間での分散が大きいほど高くする請求項１記載の特徴語抽出方法。
【請求項３】
文書データを確率的にクラスタリングするための複数のトピック各々を表すパラメータを含み、かつトピックが階層構造を有する階層的トピックモデルから、処理対象のトピックを表す対象パラメータを抽出する対象パラメータ抽出手段と、
前記階層的トピックモデルから、前記処理対象のトピックと同位階層のトピックを表す同位階層パラメータを抽出する同位階層パラメータ抽出手段と、
前記階層的トピックモデルから、前記処理対象のトピックに対応する下位階層のトピックを表す下位階層パラメータを抽出する下位階層パラメータ抽出手段と、
前記対象パラメータ、前記同位階層パラメータ、及び前記下位階層パラメータを用いて、前記対象パラメータに含まれる各単語について、前記下位階層のトピック内分散と前記同位階層のトピック間分散とに基づくスコアを計算するスコア計算手段と、
計算された前記対象パラメータに含まれる各単語の前記スコアに基づいて、前記処理対象のトピックにおける特徴語を抽出する特徴語抽出手段と、
を含む特徴語抽出装置。
【請求項４】
コンピュータに、請求項１または請求項２記載の特徴語抽出方法の各ステップを実行させるための特徴語抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特徴語抽出方法、装置、及びプログラムに係り、特に、トピックが階層構造を有する階層的トピックモデルの各トピックにおける特徴語を抽出する特徴語抽出方法、装置、及びプログラムに関する。
【背景技術】
【０００２】
従来、文書集合に含まれる単語を特徴量とし、１文書をデータ点として確率的なクラスタリングを行うトピックモデルが存在する。また、トピックが階層構造を有する階層的トピックモデルも存在する。このようなトピックモデル全体のパラメータ平均と各トピックにおけるパラメータとの比に基づいて、トピックモデルの各トピックにおける特徴語を抽出する方法が提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】D. Blei, A. Y. Ng, M. Jordan, "Latent Dirichlet Allocation", Journal of Machine Learning Research 3 (2003) 993-1022
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に記載の方法を、階層的トピックモデルの中間階層のトピックに対して適用した場合、中間階層の下位に位置するいずれかのトピックに特徴的な単語が、その中間階層のトピックにおける特徴語として選ばれ易く、中間階層のトピックにふさわしい特徴語、すなわち、その中間階層以下の概念に共通な特徴語が抽出できない、という問題がある。
【０００５】
本発明は、上記の事情を鑑みてなされたもので、階層的トピックモデルの中間階層のトピックにおける特徴語として、その中間階層以下の概念に共通な特徴語を抽出することができる特徴語抽出方法、装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の特徴語抽出方法は、文書データを確率的にクラスタリングするための複数のトピック各々を表すパラメータを含み、かつトピックが階層構造を有する階層的トピックモデルから、処理対象のトピックを表す対象パラメータを抽出する対象パラメータ抽出ステップと、前記階層的トピックモデルから、前記処理対象のトピックと同位階層のトピックを表す同位階層パラメータを抽出する同位階層パラメータ抽出ステップと、前記階層的トピックモデルから、前記処理対象のトピックに対応する下位階層のトピックを表す下位階層パラメータを抽出する下位階層パラメータ抽出ステップと、前記対象パラメータ、前記同位階層パラメータ、及び前記下位階層パラメータを用いて、前記対象パラメータに含まれる各単語について、前記下位階層のトピック内分散と前記同位階層のトピック間分散とに基づくスコアを計算するスコア計算ステップと、計算された前記対象パラメータに含まれる各単語の前記スコアに基づいて、前記処理対象のトピックにおける特徴語を抽出する特徴語抽出ステップと、を含む。
【０００７】
本発明の特徴語抽出方法によれば、対象パラメータ抽出ステップが、文書データを確率的にクラスタリングするための複数のトピック各々を表すパラメータを含み、かつトピックが階層構造を有する階層的トピックモデルから、処理対象のトピックを表す対象パラメータを抽出し、同位階層パラメータ抽出ステップで、階層的トピックモデルから、処理対象のトピックと同位階層のトピックを表す同位階層パラメータを抽出し、下位階層パラメータ抽出ステップで、階層的トピックモデルから、処理対象のトピックに対応する下位階層のトピックを表す下位階層パラメータを抽出する。そして、スコア計算ステップで、対象パラメータ、同位階層パラメータ、及び下位階層パラメータを用いて、対象パラメータに含まれる各単語について、下位階層のトピック内分散と同位階層のトピック間分散とに基づくスコアを計算し、特徴語抽出ステップで、計算された対象パラメータに含まれる各単語のスコアに基づいて、処理対象のトピックにおける特徴語を抽出する。
【０００８】
このように、下位階層のトピック内分散と同位階層のトピック間分散とに基づくスコアを計算して特徴語を抽出するため、階層的トピックモデルの中間階層のトピックにおける特徴語として、その中間階層以下の概念に共通な特徴語を抽出することができる。
【０００９】
また、前記スコアを、各単語の下位階層のトピックにおける分散が少ないほど、かつ同位階層のトピック間での分散が大きいほど高くすることができる。このように、中間階層以下の概念に共通な特徴語の有する直感的な特徴を直接的にスコアに反映することで、中間階層のトピックにおける特徴語として、適切な特徴語を抽出することができる。
【００１０】
また、本発明の特徴語抽出装置は、文書データを確率的にクラスタリングするための複数のトピック各々を表すパラメータを含み、かつトピックが階層構造を有する階層的トピックモデルから、処理対象のトピックを表す対象パラメータを抽出する対象パラメータ抽出手段と、前記階層的トピックモデルから、前記処理対象のトピックと同位階層のトピックを表す同位階層パラメータを抽出する同位階層パラメータ抽出手段と、前記階層的トピックモデルから、前記処理対象のトピックに対応する下位階層のトピックを表す下位階層パラメータを抽出する下位階層パラメータ抽出手段と、前記対象パラメータ、前記同位階層パラメータ、及び前記下位階層パラメータを用いて、前記対象パラメータに含まれる各単語について、前記下位階層のトピック内分散と前記同位階層のトピック間分散とに基づくスコアを計算するスコア計算手段と、計算された前記対象パラメータに含まれる各単語の前記スコアに基づいて、前記処理対象のトピックにおける特徴語を抽出する特徴語抽出手段と、を含んで構成されている。
【００１１】
また、本発明の特徴語抽出プログラムは、コンピュータに、上記の特徴語抽出方法の各ステップを実行させるためのプログラムである。
【発明の効果】
【００１２】
以上説明したように、本発明の特徴語抽出方法、装置、及びプログラムによれば、下位階層のトピック内分散と同位階層のトピック間分散とに基づくスコアを計算して特徴語を抽出するため、階層的トピックモデルの中間階層のトピックにおける特徴語として、その中間階層以下の概念に共通な特徴語を抽出することができる、という効果が得られる。
【図面の簡単な説明】
【００１３】
【図１】本実施の形態に係る特徴語抽出装置の構成を示す機能ブロック図である。
【図２】階層的トピックモデルを示す概略図である。
【図３】本実施の形態に係る特徴語抽出装置における特徴語抽出処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１５】
本実施の形態に係る特徴語抽出装置１０は、階層的トピックモデルの各トピックにおける特徴語を抽出する。この特徴語抽出装置１０は、ＣＰＵと、ＲＡＭと、後述する特徴語抽出処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成することができる。このコンピュータは、機能的には、図１に示すように、対象コンポーネントモデル抽出部１２と、同位階層コンポーネントモデル抽出部１４と、下位階層コンポーネントモデル抽出部１６と、スコア計算部１８と、特徴語抽出部２０とを含んだ構成で表すことができる。
【００１６】
ここで、トピックモデルとは、文書集合に含まれる単語（ｖ）を特徴量とし、１文書をデータ点（ｄ）として確率的なクラスタリングを行うためのモデルであり、トピックモデルパラメータを用いて、下記（１）式で表されるモデルである。
【００１７】
【数１】
0005503632.tif 000002
【００１８】
（１）式において、トピックモデルパラメータは、ｐ(ｚ)（１×Ｋmatrix）及びｐ(ｖ｜ｚ)（Ｋ×Ｖmatrix）である。ｚはトピックを表す確率変数、ｐ(ｚ)は確率変数ｚに対する事前確率、ｐ(ｖ｜ｚ)は確率変数ｚの下での多項分布による確率、ｎｄｖは文書データｄ中に単語ｖが出現した回数である。
【００１９】
また、階層的トピックモデルとは、トピックが階層構造を有するトピックモデルである。例えば、図２に示すように、第１階層にトピック１、トピック２、トピック３、及びトピック４を含み、第２階層として、トピック２を３つに分割したトピック２−１、トピック２−２、及びトピック２−３を含むような構造となっている。各階層の各トピックは、それぞれ上記のトピックモデルパラメータで表される。第１階層のトピック２については、分割後の第２階層のトピック２−１、トピック２−２、及びトピック２−３各々を表すトピックモデルパラメータとは別に、分割前のトピック２のトピックモデルパラメータをそのまま有している。
【００２０】
対象コンポーネントモデル抽出部１２は、階層的トピックモデル２２を入力とし、階層的トピックモデル２２から対象となるトピック番号ｋのトピックモデルコンポーネント（パラメータ）（以下、「対象コンポーネントモデル」という）を抽出する。ここでは、対象コンポーネントモデル２４として、ｐ(ｖ｜ｋ)（１×Ｖmatrix）を抽出する。以下では、ｋ＝２とし、図２のトピック２を対象のトピックとする場合について説明する。
【００２１】
同位階層コンポーネントモデル抽出部１４は、階層的トピックモデル２２を入力とし、階層的トピックモデル２２から対象となるトピック番号ｋのトピックと同位階層に存在するトピックにおけるトピックモデルコンポーネント（パラメータ）（以下、「同位階層コンポーネントモデル」という）を抽出する。ここでは、同位階層コンポーネントモデルとして、ｐ(ｖ｜ｔＢ)を抽出する。ｔＢは同位階層のトピックのトピック番号であり、同位階層のトピックが複数存在する場合には、複数の同位階層コンポーネントモデルを抽出し、同位階層コンポーネントモデル群２６とする。例えば、トピック２を対象トピックｋとすると、同位階層コンポーネントモデルとしては、第１階層のトピック１、トピック３、及びトピック４各々におけるトピックモデルコンポーネントモデルが抽出される。
【００２２】
下位階層コンポーネントモデル抽出部１６は、階層的トピックモデル２２を入力とし、階層的トピックモデル２２から対象となるトピック番号ｋのトピックの下位階層に存在するトピックにおけるトピックモデルコンポーネント（パラメータ）（以下、「下位階層コンポーネントモデル」という）を抽出する。ここでは、下位階層コンポーネントモデルとして、ｐ(ｖ｜ｔＷ)を抽出する。ｔＷは下位階層のトピックのトピック番号であり、下位階層のトピックが複数存在する場合には、複数の下位階層コンポーネントモデルを抽出し、下位階層コンポーネントモデル群２８とする。例えば、トピック２を対象トピックｋとすると、下位階層コンポーネントモデルとしては、第２階層のトピック２−１、トピック２−２、及びトピック２−３各々におけるトピックモデルコンポーネントモデルが抽出される。
【００２３】
スコア計算部１８は、対象コンポーネントモデル２４に含まれる全単語についてスコアを計算し、スコアが予め定めた閾値以上の単語を特徴語として抽出する。
【００２４】
ここで、スコア計算部１８で計算するスコアの原理について説明する。本発明では、中間階層のトピックにおいて、下位階層の概念に共通する特徴語を抽出することを目的としている。このような特徴語としては、
１．下位階層のトピックにおいて分散が少なく（共通性）、
２．同位階層のトピック間での分散が大きい（特徴性）
という特徴が直感的に存在する。この特徴を直接的にスコア関数に入れることが、所望の共通する特徴語を抽出することにつながる。そこで、下位階層のトピック内分散と同位階層のトピック間分散とを考慮したスコア関数を用いる。
【００２５】
上記原理に従って、スコア計算部１８では、例えば、各単語について、下位階層のトピック内分散σＷ(ｖ)を下記（２）式により計算し、同位階層のトピック間分散σＢ(ｖ)を下記（３）式により計算し、その比（（４）式）をスコアとして計算することができる。
【００２６】
【数２】
0005503632.tif 000003
【００２７】
ここで、ｖは単語、ｋは対象トピックのトピック番号、ｔＷは下位階層のトピックのトピック番号、ｔＢは同位階層のトピックのトピック番号、ｃＷは下位階層のトピック数（ここでは３）、ｃＢは同位階層のトピック数（ここでは３）である。なお、スコア計算部１８で用いるスコアは上記の場合に限定されず、上述の共通する特徴語の特徴が表せるスコアであれば。
【００２８】
特徴語抽出部２０は、スコア計算部１８で計算された各単語のスコアに基づいて各単語をソートし、上位Ｎ位の単語をトピックｋにおける特徴語として抽出して出力する。また、予め定めた閾値を用いて、スコアと閾値との比較結果に応じて特徴語を抽出するようにしてもよい。
【００２９】
次に、図３を参照して、本実施の形態の特徴語抽出装置１０により実行される特徴語抽出処理ルーチンについて説明する。
【００３０】
ステップ１００で、階層的トピックモデル２２を取得し、階層的トピックモデル２２から対象となるトピック番号ｋの対象コンポーネントモデル２４（ｐ(ｖ｜ｋ)）を抽出する。次に、ステップ１０２で、階層的トピックモデル２２から対象となるトピック番号ｋのトピックと同位階層に存在するトピックにおける同位階層コンポーネントモデル群２６（ｐ(ｖ｜ｔＢ)）を抽出する。次に、ステップ１０４で、階層的トピックモデル２２から対象となるトピック番号ｋのトピックの下位階層に存在するトピックにおける下位階層コンポーネントモデル群２８（ｐ(ｖ｜ｔＷ)）を抽出する。
【００３１】
次に、ステップ１０６で、対象コンポーネントモデル２４に含まれる全単語について、下位階層のトピック内分散と同位階層のトピック間分散とを考慮したスコア関数を用いて、スコアを計算する。次に、ステップ１０８で、上記ステップ１０６で計算された各単語のスコアに基づいて各単語をソートし、上位Ｎ位の単語をトピックｋにおける特徴語として抽出して出力し、特徴語抽出処理を終了する。
【００３２】
以上説明したように、本実施の形態の特徴語抽出装置によれば、特徴語抽出の対象となるトピックと同位階層のトピック、及び下位階層のトピック各々のパラメータ（コンポーネントモデル）を抽出し、下位階層のトピック内分散と同位階層のトピック間分散とを考慮したスコアを計算し、下位階層のトピックにおいて分散が少なく、同位階層のトピック間での分散が大きい単語を対象のトピックにおける特徴語として抽出するため、階層的トピックモデルの中間階層のトピックにおける特徴語として、その中間階層以下の概念に共通な特徴語を抽出することができる。
【００３３】
なお、本発明は、上記実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００３４】
また、本願明細書中において、プログラムが予めインストールされている実施の形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。また、本発明の特徴語抽出装置を、上記処理を実現するための半導体集積回路等のハードウエアにより構成してもよい。
【符号の説明】
【００３５】
１０   特徴語抽出装置
１２   対象コンポーネントモデル抽出部
１４   同位階層コンポーネントモデル抽出部
１６   下位階層コンポーネントモデル抽出部
１８   スコア計算部
２０   特徴語抽出部
【図１】
0005503632.tif 000004
【図２】
0005503632.tif 000005
【図３】
0005503632.tif 000006