(57)【要約】【課題】現在のトピックと過去のトピックとの混合により事前分布を生成する場合の混合比を最適化すること。【解決手段】トピック分布生成手段３０１は、過去に取得された第１の文書集合に含まれる各単語の出現回数の多項分布である第１の事前分布に基づいて、第１の文書集合の後に取得された第２の文書集合に含まれる各単語の出現回数の多項分布である単語分布を生成する。混合比算出手段３０２は、第１の事前分布に基づいて、第１の事前分布と単語分布との混合比を算出する。事前分布生成手段３０３は、第１の事前分布と単語分布とを前記混合比にて混合することにより、第２の事前分布を生成する。事前分布蓄積手段３０４は、第２の事前分布を蓄積する。トピック分布生成手段３０１は、第２の文書集合の後に第３の文書が取得された場合に、第３の文書集合に含まれる各単語の出現回数の多項分布である単語分布を、第２の事前分布に基づいて生成する。【選択図】図５
2013069141.tif 000002
【特許請求の範囲】
【請求項１】
外部装置から文書集合を取得する取得手段と、
過去に前記取得手段によって取得された第１の文書集合に含まれる各単語の出現回数の多項分布である第１の事前分布に基づいて、前記第１の文書集合の後に前記取得手段によって取得された第２の文書集合に含まれる各単語の出現回数の多項分布である単語分布を生成し、当該単語分布で特徴付けられる各トピックの出現回数の多項分布であるトピック分布を生成するトピック分布生成手段と、
前記第１の事前分布に基づいて、前記第１の事前分布と前記単語分布との混合比を算出する混合比算出手段と、
前記第１の事前分布と前記単語分布とを前記混合比にて混合することにより、第２の事前分布を生成する事前分布生成手段と、
前記第２の事前分布を蓄積する事前分布蓄積手段と
を有し、
前記トピック分布生成手段は、前記第２の文書集合の後に前記取得手段によって第３の文書が取得された場合に、前記第３の文書集合に含まれる各単語の出現回数の多項分布である単語分布を、前記第２の事前分布に基づいて生成する
ことを特徴とする文書分析装置。
【請求項２】
前記混合比算出手段は、前記混合比の候補である互いに異なる複数の混合比に対応する第１の粒子群と、前記第１の粒子群に含まれる各粒子に対応付けた尤度からなる第１の尤度群とを仮定して、前記第１の粒子群を粒子フィルタにおける粒子として散布し、前記第１の尤度群に基づいて前記第１の粒子群を再散布することによって第２の尤度群を算出し、前記第２の尤度群を重みとした前記第１の粒子群の重み付き平均により前記混合比を算出する
ことを特徴とする請求項１に記載の文書分析装置。
【請求項３】
過去に取得された第１の文書集合に含まれる各単語の出現回数の多項分布である第１の事前分布に基づいて、前記第１の文書集合の後に取得された第２の文書集合に含まれる各単語の出現回数の多項分布である単語分布を生成し、当該単語分布で特徴付けられる各トピックの出現回数の多項分布であるトピック分布を生成するトピック分布生成ステップと、
前記第１の事前分布に基づいて、前記第１の事前分布と前記単語分布との混合比を算出する混合比算出ステップと、
前記第１の事前分布と前記単語分布とを前記混合比にて混合することにより、第２の事前分布を生成する事前分布生成ステップと、
前記第２の事前分布を蓄積する事前分布蓄積ステップと
を有し、
前記トピック分布生成ステップにおいて、前記第２の文書集合の後に第３の文書が取得された場合に、前記第３の文書集合に含まれる各単語の出現回数の多項分布である単語分布を、前記第２の事前分布に基づいて生成する
ことを特徴とする文書分析方法。
【請求項４】
コンピュータを、
外部装置から文書集合を取得する取得手段と、
過去に前記取得手段によって取得された第１の文書集合に含まれる各単語の出現回数の多項分布である第１の事前分布に基づいて、前記第１の文書集合の後に前記取得手段によって取得された第２の文書集合に含まれる各単語の出現回数の多項分布である単語分布を生成し、当該単語分布で特徴付けられる各トピックの出現回数の多項分布であるトピック分布を生成するトピック分布生成手段と、
前記第１の事前分布に基づいて、前記第１の事前分布と前記単語分布との混合比を算出する混合比算出手段と、
前記第１の事前分布と前記単語分布とを前記混合比にて混合することにより、第２の事前分布を生成する事前分布生成手段と、
前記第２の事前分布を蓄積する事前分布蓄積手段
として機能させるためのプログラムであって、
前記トピック分布生成手段は、前記第２の文書集合の後に前記取得手段によって第３の文書が取得された場合に、前記第３の文書集合に含まれる各単語の出現回数の多項分布である単語分布を、前記第２の事前分布に基づいて生成する
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書からトピックを抽出する技術に関する。
【背景技術】
【０００２】
Twitter（登録商標）などのマイクロブログに投稿される文章、ニュース専門サイトで提供される記事、ＳＮＳ（ソーシャルネットワーキングサービス）上で取り交わされるコメントなど、インターネット上では日々、大量の文書が生成される。
インターネット上で話題となっている事柄を抽出する技術の一つとして、Buzztterが知られている。Buzztterは、Twitterに投稿された文章から出現頻度の高い単語をリアルタイムに抽出してユーザの端末に配信する。
【０００３】
文書上の単語の出現頻度を支配する潜在的な要因であるトピックを文書から抽出するトピックモデルの一つに、Latent Dirichlet Allocation（以下、「ＬＤＡ」という。例えば、非特許文献１。）がある。図１は、ＬＤＡのグラフィカルモデルを示す図である。表１は、図１における各記号の意味を示す表である。
【表１】
2013069141.tif 000003
【０００４】
ＬＤＡは、各文書に複数のトピックが存在し、各文書において各トピックが或る確率で出現し、各トピックに対応する単語が複数存在し、各トピックにおいて各単語が或る確率で出現するという仮定のもとで、各単語の出現回数の多項分布（以下、「単語分布」という。）で各トピックを特徴付けるとともに、各トピックの出現回数の多項分布（以下、「トピック分布」という。）で各文書を特徴付ける手法である。例えば、Twitterに投稿された一つの文章（以下、「tweet」という。）を文書として捉えた場合に、地震発生直後では、地震や津波に関するトピックを多く含む文書が多数生成されることとなり、地震に関するトピックは、「地震」、「震度」、「地震速報」などの各単語（単語の組み合わせも含む）の出現回数の多項分布で特徴付けられ、津波に関するトピックは、「津波」、「高さ」、「到達時刻」などの各単語の出現回数の多項分布で特徴付けられることとなる。
【０００５】
従来のＬＤＡは、あらかじめ与えられた特定の文書集合からトピックを抽出するように構成されている。従って、経時的に内容が変化するような文書集合において、トピックの変化を抽出することはできない。これに対して、経時的に内容が変化する文書集合の分析に適用可能となるようにＬＤＡを拡張した技術として、Dynamic Topic Model（以下、「ＤＴＭ」という。例えば、非特許文献２。）がある。図２は、ＤＴＭのグラフィカルモデルを示す図である。ｔは、文書集合を取得する時期である。取得時期ｔ毎に文書集合Ｄ(t)が入力され、取得時期ｔ毎の単語分布β(t)、トピック分布θ(t)を生成する。ＤＴＭの特徴は、取得時期ｔ−１における単語分布β(t-1)が取得時期ｔにおける単語分布β(t)の事前分布となっている点、言い換えれば、過去のトピックから現在のトピックを抽出する点である。そのため、β(t)をβ(t-1)と比較することで、トピックの経時的な変化を観測することができる。また、現在のトピックに過去のトピックの影響が反映されるので、特定の取得時期だけの文書集合からトピックを抽出する場合と比較して、現在の文書集合に過学習しない結果が得られる。これにより、次の取得時期ｔ＋１の文書集合に含まれるトピックを高精度に予測することができる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】D. M. Blei, A. N. Ng, and M. I. Jordan. Latent dirichlet allocation. In Journal of Machine Learning Research archive., 2003.
【非特許文献２】D. M. Blei and J. D. Lafferty. Dynamic Topic Models. In Proc. of the 23rd international conference on Machine learning.,2006.
【非特許文献３】G. Kitagawa. Monte carlo filter and smoother for non-Gaussian nonlinear state space models. In Journal of computationaland graphical statistics., 1996.
【特許文献】
【０００７】
【特許文献１】特開２０１０−２４４２６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、ＤＴＭでは、次の取得時期のトピックの事前分布を現在のトピック分布から生成するので、次の取得時期のトピック分布が現在のトピック分布を過学習するおそれがある。
この問題に対して、現在のトピック分布と過去のトピック分布を混合して平滑化することにより、過学習を防ぐ方法が考えられる。例えば、特許文献１では、過去のいくつかのトピックを混合することで、事前分布を生成する技術を提案している。しかし、過去のトピックと現在のトピックをどのような配分で混合すれば最適であるかという点については、提案されていない。
本発明は、上述の背景に鑑みてなされたものであり、現在のトピックと過去のトピックとの混合により事前分布を生成する場合の混合比を最適化することを目的とする。
【課題を解決するための手段】
【０００９】
請求項１に係る文書分析装置は、外部装置から文書集合を取得する取得手段と、過去に前記取得手段によって取得された第１の文書集合に含まれる各単語の出現回数の多項分布である第１の事前分布に基づいて、前記第１の文書集合の後に前記取得手段によって取得された第２の文書集合に含まれる各単語の出現回数の多項分布である単語分布を生成し、当該単語分布で特徴付けられる各トピックの出現回数の多項分布であるトピック分布を生成するトピック分布生成手段と、前記第１の事前分布に基づいて、前記第１の事前分布と前記単語分布との混合比を算出する混合比算出手段と、前記第１の事前分布と前記単語分布とを前記混合比にて混合することにより、第２の事前分布を生成する事前分布生成手段と、前記第２の事前分布を蓄積する事前分布蓄積手段とを有し、前記トピック分布生成手段は、前記第２の文書集合の後に前記取得手段によって第３の文書が取得された場合に、前記第３の文書集合に含まれる各単語の出現回数の多項分布である単語分布を、前記第２の事前分布に基づいて生成することを特徴とする。
【００１０】
請求項２に係る文書分析装置は、請求項１に記載の文書分析装置において、前記混合比算出手段は、前記混合比の候補である互いに異なる複数の混合比に対応する第１の粒子群と、前記第１の粒子群に含まれる各粒子に対応付けた尤度からなる第１の尤度群とを仮定して、前記第１の粒子群を粒子フィルタにおける粒子として散布し、前記第１の尤度群に基づいて前記第１の粒子群を再散布することによって第２の尤度群を算出し、前記第２の尤度群を重みとした前記第１の粒子群の重み付き平均により前記混合比を算出することを特徴とする。
【００１１】
請求項３に係る文書分析方法は、過去に取得された第１の文書集合に含まれる各単語の出現回数の多項分布である第１の事前分布に基づいて、前記第１の文書集合の後に取得された第２の文書集合に含まれる各単語の出現回数の多項分布である単語分布を生成し、当該単語分布で特徴付けられる各トピックの出現回数の多項分布であるトピック分布を生成するトピック分布生成ステップと、前記第１の事前分布に基づいて、前記第１の事前分布と前記単語分布との混合比を算出する混合比算出ステップと、前記第１の事前分布と前記単語分布とを前記混合比にて混合することにより、第２の事前分布を生成する事前分布生成ステップと、前記第２の事前分布を蓄積する事前分布蓄積ステップとを有し、前記トピック分布生成ステップにおいて、前記第２の文書集合の後に第３の文書が取得された場合に、前記第３の文書集合に含まれる各単語の出現回数の多項分布である単語分布を、前記第２の事前分布に基づいて生成することを特徴とする。
【００１２】
請求項４に係るプログラムは、コンピュータを、外部装置から文書集合を取得する取得手段と、過去に前記取得手段によって取得された第１の文書集合に含まれる各単語の出現回数の多項分布である第１の事前分布に基づいて、前記第１の文書集合の後に前記取得手段によって取得された第２の文書集合に含まれる各単語の出現回数の多項分布である単語分布を生成し、当該単語分布で特徴付けられる各トピックの出現回数の多項分布であるトピック分布を生成するトピック分布生成手段と、前記第１の事前分布に基づいて、前記第１の事前分布と前記単語分布との混合比を算出する混合比算出手段と、前記第１の事前分布と前記単語分布とを前記混合比にて混合することにより、第２の事前分布を生成する事前分布生成手段と、前記第２の事前分布を蓄積する事前分布蓄積手段として機能させるためのプログラムであって、前記トピック分布生成手段は、前記第２の文書集合の後に前記取得手段によって第３の文書が取得された場合に、前記第３の文書集合に含まれる各単語の出現回数の多項分布である単語分布を、前記第２の事前分布に基づいて生成することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、現在のトピックと過去のトピックとの混合により事前分布を生成する場合の混合比を最適化することができる。
【図面の簡単な説明】
【００１４】
【図１】ＬＤＡのグラフィカルモデルを示す図である。
【図２】ＤＴＭのグラフィカルモデルを示す図である。
【図３】通信システム１の構成を示す図である。
【図４】文書分析装置３０のハードウェア構成を示すブロック図である。
【図５】文書分析装置３０の機能構成を示すブロック図である。
【図６】本実施形態のグラフィカルモデルである。
【図７】粒子フィルタを利用した混合比の推定方法を示す図である。
【発明を実施するための形態】
【００１５】
本発明の実施形態について説明する。
（１）実施形態の構成
図３は、本発明の実施形態に係る通信システム１の構成を示す図である。通信システム１は、移動通信ネットワーク１０と、移動通信装置２０と、移動通信ネットワーク１０にゲートウェイ装置６０を介して接続されたインターネット５０と、ゲートウェイ装置６０に接続された文書分析装置３０と、インターネット５０に接続された複数のウェブサーバ装置４０とを備えている。
【００１６】
移動通信装置２０は、例えば携帯電話機などの通信可能なコンピュータであり、ＣＰＵ（Central Processing Unit）などの演算装置とＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）などの記憶装置からなる制御部と、ＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）やバックアップ電源を備えたＳＲＡＭ（Static Random Access Memory）などの記憶部と、アンテナや無線通信回路からなる無線通信部と、スピーカ、マイクロホン及び音声処理回路からなる音声入出力部と、複数のキーやタッチスクリーンなどの操作子を備えた操作部と、液晶パネルや液晶駆動回路からなる表示部とを備えている。この移動通信装置２０において、制御部は、操作部が受け付けたユーザの操作に応じて、通信部を制御することにより移動通信ネットワーク１０及びインターネット５０経由でウェブサーバ装置４０にアクセスし、そのウェブサーバ装置４０に蓄積されている情報を取得して、表示部に表示させる。これにより、ユーザはインターネット５０上にある様々な情報にアクセスし、それを閲覧することができる。
【００１７】
移動通信ネットワーク１０は、移動通信装置２０に通信サービスを提供するネットワークである。この移動通信ネットワーク１０は、自局の無線セル内に存在する移動通信装置２０との間で無線通信を行う基地局、ネットワーク内で伝送されるデータのルーティングを行う交換局、及び移動通信装置２０の位置登録などを行う制御局といった各種ノードと、これらのノード間を相互に接続する通信線とを備えている。
【００１８】
ウェブサーバ装置４０は、コンピュータであり、ＣＰＵなどの演算装置とＲＯＭ及びＲＡＭなどの記憶装置からなる制御部と、ハードディスク装置などの記憶部と、インターネット５０に接続された通信部とを備えている。このウェブサーバ装置４０は、インターネット５０及び移動通信ネットワーク１０経由で移動通信装置２０との間でデータ通信を行う機能を備えている。ウェブサーバ装置４０は、マイクロブログのサービスを提供するサーバであり、ユーザがこのサービスの利用者としてウェブサーバ装置４０に登録すると、このユーザに対してマイクロブログへの投稿が許可される。ユーザが移動通信装置２０を用いてこのマイクロブログへ文章を投稿すると、ウェブサーバ装置４０が当該文章を当該移動通信装置２０に返信することにより、当該移動通信装置２０の表示部に当該文章が表示される。また、当該ユーザが他のユーザを登録した場合に、当該他のユーザの投稿した文章も表示部に表示される。このようにして、複数のユーザ間でコミュニケーションを取ることが可能となる。
【００１９】
（２）文書分析装置の構成
図４は、文書分析装置３０のハードウェア構成を示すブロック図である。文書分析装置３０は、コンピュータであり、制御部３１と、通信部３２と、記憶部３３とを備えている。制御部３１は、ＣＰＵなどの演算装置と、ＲＯＭ及びＲＡＭなどの記憶装置とを備えている。ＣＰＵは、ＲＡＭをワークエリアとして用いてＲＯＭや記憶部３３に記憶されたプログラム群を実行することによって、文書分析装置３０の各部の動作を制御する。
【００２０】
通信部３２は、通信インタフェースを備えており、ゲートウェイ装置６０に接続されている。通信部３２は、ゲートウェイ装置６０が中継する、ウェブサーバ装置４０から移動通信装置２０に配信された文書集合をゲートウェイ装置６０から取得して、文書分析装置３０に入力する。つまり、通信部３２は、外部装置から文書集合を取得する取得手段の一例である。
記憶部３３は、書き込み可能な不揮発性の記憶手段であり、例えばハードディスク装置である。この記憶部３３には、制御部３１が実行する処理の手順が記述されたプログラム群を記憶している。また、記憶部３３は、ゲートウェイ装置６０から取得した、ウェブサーバ装置４０が移動通信装置２０に配信する情報を記憶する記憶領域を有している。
【００２１】
図５は、本実施形態に係る文書分析装置３０の機能構成を示すブロック図である。表２は、実施形態の説明で用いる記号とその意味を示す表である。
【表２】
2013069141.tif 000004
【００２２】
文書分析装置３０は、トピック分布生成手段３０１、混合比算出手段３０２、事前分布生成手段３０３及び事前分布蓄積手段３０４を有する。文書分析装置３０が実行する処理は、主に、トピック分布の生成、混合比の算出、事前分布の生成、事前分布の蓄積、の４つである。
ここで、以下の説明で使用する用語について説明する。
本実施形態では、マイクロブログに投稿された文章（テキストデータ）を分析の対象とし、１回の投稿で移動通信装置２０からウェブサーバ装置４０に送信された文章を文書と呼ぶ。文書集合とは、１つ又は複数の文書からなる集合である。
単語とは、文書を構成する単語であり、日本語では形態素に相当する。単語は、どの品詞でもよい。
【００２３】
取得時期ｔは、ウェブサーバ装置４０から移動通信装置２０に配信される文書集合を文書分析装置３０がゲートウェイ装置６０を介して取得する時期である。文書分析装置３０は、文書集合の取得を契機として、以下に説明する一連の処理を実行する。取得時期ｔは、例えば、２４時間毎、６時間毎といった一定の間隔で定められていてもよいし、間隔を定めずに、文書分析装置３０の管理者や移動通信装置２０のユーザが、随時、文書分析装置３０に文書集合の取得を指示するようにしてもよい。
取得時期ｔは、整数で表される。つまり、文書分析装置３０で処理中の文書集合が取得された時期をｔとすると、前回の処理の対象であった文書集合の取得時期はｔ−１である。
【００２４】
文書集合を構成する文書は、どのように選択してもよい。例えば、投稿日時が最新のものから過去に遡って１０万回分の投稿を取得してもよいし、過去２４時間の投稿から無作為に１０万回分の投稿を抽出して取得してもよい。
新語とは、過去に生成された語彙集合に含まれない単語である。既知語とは、過去に生成された語彙集合に含まれる単語である。
事前分布は、ベイズ推定における事前確率分布であり、事前分布に尤度関数を乗じることにより事後分布が生成される。
【００２５】
次に、各処理の内容について説明する。
（２．１）トピック分布の生成
2013069141.tif 000005
【００２６】
（２．２）混合比の算出
2013069141.tif 000006
【００２７】
2013069141.tif 000007
【００２８】
2013069141.tif 000008
粒子フィルタの利点は、経時的に変化する値を推定するにあたり、前時刻における状態と現在時刻における入力値との間に状態方程式を必要としない点である。そのため、前時刻における状態からの現在時刻における入力値の予測が困難である今回の問題には最適な方式と言える。
【００２９】
図７は、粒子フィルタを利用した混合比の推定方法を示す図である。ここでは、取得時期ｔ−１において、混合比として互いに異なる混合比に対応するＮ個の候補ρi(t-1)（ただし、ｉ＝１、２、・・・、Ｎ）を仮定し、それぞれを粒子フィルタにおける粒子として散布する。各粒子には、取得時期ｔにおける各粒子の最適な推定値ρi(t)に対する尤度ｗi(t-1)が対応付けられている。
時刻ｔにおいて、混合比算出手段３０２は、まず、各粒子を、これに対応する尤度に基づいて再散布する。具体的には、尤度を確率として、重複を許しつつ各粒子をＮ回散布する。これはすなわち、尤度の大きい粒子は複数回散布され、尤度の小さい粒子は散布されずに消滅する可能性があることを意味する。
【００３０】
次に、混合比算出手段３０２は、各粒子を特定の距離に従ってランダムウォークさせる。距離は、あらかじめ与えられた固定値である分散値σを標準偏差とした正規分布により発生させる。ここで、ρi(t)は、０以上１以下であるから、その範囲を超えるような距離が発生した場合には、同じ方法で再度、距離を発生させる。ここで得られた各粒子は、取得時期ｔにおける粒子の状態を表すものとなる。
次に、各粒子に対して、新たな尤度ｗi(t)を算出する。尤度の算出方法については後述する。時刻ｔにおけるρi(t)は、尤度を重みとした各粒子の重み付き平均により、次式のとおり算出される。
2013069141.tif 000009
【００３１】
2013069141.tif 000010
【００３２】
2013069141.tif 000011
【００３３】
要するに、混合比算出手段３０２は、前記第１の事前分布に基づいて、前記第１の事前分布と前記単語分布との混合比を算出する手段の一例である。
また、混合比算出手段３０２は、前記混合比の候補である互いに異なる複数の混合比に対応する第１の粒子群と、前記第１の粒子群に含まれる各粒子に対応付けた尤度からなる第１の尤度群とを仮定して、前記第１の粒子群を粒子フィルタにおける粒子として散布し、前記第１の尤度群に基づいて前記第１の粒子群を再散布することによって第２の尤度群を算出し、前記第２の尤度群を重みとした前記第１の粒子群の重み付き平均により前記混合比を算出する手段としても特定され得る。
【００３４】
（２．３）事前分布の生成
事前分布の生成は、事前分布生成手段３０３によって実行される。
2013069141.tif 000012
【００３５】
（２．４）事前分布の蓄積
2013069141.tif 000013
また、トピック分布生成手段３０１は、前記第２の文書集合の後に前記取得手段によって第３の文書が取得された場合に、前記第３の文書集合に含まれる各単語の出現回数の多項分布である単語分布を、前記第２の事前分布に基づいて生成する。
【００３６】
上述のとおり、本実施形態は、事前分布の平滑化を行うことにより、従来のＤＴＭと比較して精度のよいトピック分布を生成可能となる。ここで言う精度がよいとは、文書をよくモデル化できているという意味である。これは、定量的には、perplexity（非特許文献２）により評価可能である。perplexityは、テスト文書に対するモデルの精度を示す指標であり、値が小さければ小さいほど良いモデルであることを表す。ここでは、取得時期ｔ−１におけるトピック分布が、取得時期ｔに取得された文書をいかにモデル化できているか評価することを考える。この場合、perplexityは、下記の式で表される。
2013069141.tif 000014
【００３７】
表３は、実際に本実施形態のシステムを実装し、perplexityを評価した結果を示す表である。この評価結果は、２０１１年２月から３月のTwitterの投稿を１日２０万ずつ収集し、そのデータに対して、トピックの経時的な変化を考慮しない通常のＬＤＡ、ＤＴＭ、本実施形態の３つの方式を適用した場合のperplexityを示したものである。なお、ＤＴＭと本実施形態に関しては、２０１１年２月１日から３月３１日まで動作させ、３月３０日のトピック分布と３月３１日の文書を利用してperplexityを導出した。通常のＬＤＡに関しては、３月３０日の文書のみからトピック分布を導出し、同じく３月３１日の文書を利用してperplexityを導出した。さらに、本実施形態は、粒子フィルタのランダムウォークの距離σによって性能が異なるため、σ＝０、０．０５、０．１、０．１５の４つの値でperplexityを算出した。
【００３８】
この評価結果より、ＤＴＭは通常のＬＤＡと比較して、はるかに性能が向上するが、本実施形態のシステムは、ＤＴＭよりもさらに性能が向上していることが分かる。また、今回の評価に用いたデータセットでは、σ＝０．１の場合に最も良い性能となることがわかる。
【表３】
2013069141.tif 000015
【００３９】
（３）変形例
上記の実施形態を次のように変形してもよい。また、以下の変形例を組み合わせて実施してもよい。
（３．１）変形例１
実施形態では、マイクロブログに投稿された文書集合を分析する例を示したが、他の種類の文書集合を分析するようにしてもよい。
例えば、ウェブサーバ装置４０がニュースの記事を配信するサーバである場合、文書集合として、特定の期間に配信される記事を取得し、この文書集合に対して実施形態と同様の処理を行ってもよい。また、ウェブサーバ装置４０がＳＮＳを管理するサーバである場合、文書集合として、特定の期間にＳＮＳ上で取り交わされるコメントを取得し、この文書集合に対して実施形態と同様の処理を行ってもよい。
【００４０】
（３．２）変形例２
実施形態では、文書の配信先が移動通信装置である例を示したが、文書の配信先はどのような装置でもよい。例えば、インターネットに接続された据え置き型のコンピュータでもよい。
実施形態では、文書分析装置３０の制御部３１がプログラムを実行することによって処理を実行する例を示したが、同様の機能をハードウェアで実装するようにしてもよい。また、このプログラムを、光記録媒体、半導体メモリ等、コンピュータで読み取り可能な記録媒体に記録して提供し、この記録媒体からプログラムを読み取って文書分析装置３０の記憶部３３に記憶させるようにしてもよい。また、このプログラムを電気通信回線経由で提供してもよい。
【符号の説明】
【００４１】
１…通信システム、１０…移動通信ネットワーク、２０…移動通信装置、３０…文書分析装置、４０…ウェブサーバ装置、５０…インターネット、６０…ゲートウェイ装置、３１…制御部、３２…通信部、３３…記憶部、３０１…トピック分布生成手段、３０２…混合比算出手段、３０３…事前分布生成手段、３０４…事前分布蓄積手段
【図１】
2013069141.tif 000016
【図２】
2013069141.tif 000017
【図３】
2013069141.tif 000018
【図４】
2013069141.tif 000019
【図５】
2013069141.tif 000020
【図６】
2013069141.tif 000021
【図７】
2013069141.tif 000022