(57)【要約】【課題】新語が発生し得る環境においても精度の高いトピック分布を生成すること。【解決手段】語彙集合生成手段３０１は、過去に取得された第１の文書集合の語彙を表す第１の語彙集合と、第１の文書集合の後に取得された第２の文書集合とに基づいて、第２の文書集合の語彙を表す第２の語彙集合を生成する。事前分布生成手段３０２は、第１の語彙集合に含まれる各単語の出現回数の多項分布である第１の単語分布に基づいて、第２の語彙集合に含まれる各単語の出現回数の事前分布を生成する。トピック分布生成手段３０３は、事前分布に基づいて、第２の語彙集合に含まれる各単語の出現回数の多項分布である第２の単語分布と、第２の単語分布で特徴付けられた各トピックの出現回数の多項分布であるトピック分布を生成する。事前状態蓄積手段３０４は、第２の単語分布と第２の語彙集合とを蓄積する。【選択図】図６
2013069140.tif 000002
【特許請求の範囲】
【請求項１】
外部装置から文書集合を取得する取得手段と、
過去に前記取得手段によって取得された第１の文書集合の語彙を表す第１の語彙集合と、前記第１の文書集合の後に前記取得手段によって取得された第２の文書集合とに基づいて、前記第２の文書集合の語彙を表す第２の語彙集合を生成する語彙集合生成手段と、
前記第１の語彙集合に含まれる各単語の出現回数の多項分布である第１の単語分布に基づいて、前記第２の語彙集合に含まれる各単語の出現回数の事前分布を生成する事前分布生成手段と、
前記事前分布に基づいて、前記第２の語彙集合に含まれる各単語の出現回数の多項分布である第２の単語分布を生成し、当該第２の単語分布で特徴付けられた各トピックの出現回数の多項分布であるトピック分布を生成するトピック分布生成手段と、
前記第２の単語分布と前記第２の語彙集合とを蓄積する事前状態蓄積手段と
を有することを特徴とする文書分析装置。
【請求項２】
前記語彙集合生成手段は、前記第２の文書集合に含まれる単語のうち、前記第１の語彙集合に含まれない単語の集合である新語集合と、前記第１の語彙集合の一部又は全部を含む既知語集合とを生成し、
前記事前分布生成手段は、前記新語集合に対応する事前分布を生成する一方、前記第１の単語分布のうち前記既知語集合に対応する単語分布を前記既知語集合に対応する事前分布として用いる
ことを特徴とする請求項１に記載の文書分析装置。
【請求項３】
前記事前分布生成手段は、前記新語集合に対応する事前分布を、前記第１の単語分布の平均値により生成する
ことを特徴とする請求項２に記載の文書分析装置。
【請求項４】
前記語彙集合生成手段は、前記第１の語彙集合に含まれる単語のうち、いずれかのトピックにおいて出現回数が閾値以上である単語により前記既知語集合を生成する
ことを特徴とする請求項２に記載の文書分析装置。
【請求項５】
過去に取得された第１の文書集合の語彙を表す第１の語彙集合と、前記第１の文書集合の後に取得された第２の文書集合とに基づいて、前記第２の文書集合の語彙を表す第２の語彙集合を生成する語彙集合生成ステップと、
前記第１の語彙集合に含まれる各単語の出現回数の多項分布である第１の単語分布に基づいて、前記第２の語彙集合に含まれる各単語の出現回数の事前分布を生成する事前分布生成ステップと、
前記事前分布に基づいて、前記第２の語彙集合に含まれる各単語の出現回数の多項分布である第２の単語分布を生成し、当該第２の単語分布で特徴付けられた各トピックの出現回数の多項分布であるトピック分布を生成するトピック分布生成ステップと、
前記第２の単語分布と前記第２の語彙集合とを蓄積する事前状態蓄積ステップと
を有することを特徴とする文書分析方法。
【請求項６】
コンピュータを、
外部装置から文書集合を取得する取得手段と、
過去に前記取得手段によって取得された第１の文書集合の語彙を表す第１の語彙集合と、前記第１の文書集合の後に前記取得手段によって取得された第２の文書集合とに基づいて、前記第２の文書集合の語彙を表す第２の語彙集合を生成する語彙集合生成手段と、
前記第１の語彙集合に含まれる各単語の出現回数の多項分布である第１の単語分布に基づいて、前記第２の語彙集合に含まれる各単語の出現回数の事前分布を生成する事前分布生成手段と、
前記事前分布に基づいて、前記第２の語彙集合に含まれる各単語の出現回数の多項分布である第２の単語分布を生成し、当該第２の単語分布で特徴付けられた各トピックの出現回数の多項分布であるトピック分布を生成するトピック分布生成手段と、
前記第２の単語分布と前記第２の語彙集合とを蓄積する事前状態蓄積手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書からトピックを抽出する技術に関する。
【背景技術】
【０００２】
Twitter（登録商標）などのマイクロブログに投稿される文章、ニュース専門サイトで提供される記事、ＳＮＳ（ソーシャルネットワーキングサービス）上で取り交わされるコメントなど、インターネット上では日々、大量の文書が生成される。
インターネット上で話題となっている事柄を抽出する技術の一つとして、Buzztterが知られている。Buzztterは、Twitterに投稿された文章から出現頻度の高い単語をリアルタイムに抽出してユーザの端末に配信する。
【０００３】
文書上の単語の出現頻度を支配する潜在的な要因であるトピックを文書から抽出するトピックモデルの一つに、Latent Dirichlet Allocation（以下、「ＬＤＡ」という。例えば、非特許文献１。）がある。図１は、ＬＤＡのグラフィカルモデルを示す図である。表１は、図１における各記号の意味を示す表である。
【表１】
2013069140.tif 000003
【０００４】
ＬＤＡは、各文書に複数のトピックが存在し、各文書において各トピックが或る確率で出現し、各トピックに対応する単語が複数存在し、各トピックにおいて各単語が或る確率で出現するという仮定のもとで、各単語の出現回数の多項分布（以下、「単語分布」という。）で各トピックを特徴付けるとともに、各トピックの出現回数の多項分布（以下、「トピック分布」という。）で各文書を特徴付ける手法である。例えば、Twitterに投稿された一つの文章（以下、「tweet」という。）を文書として捉えた場合に、地震発生直後では、地震や津波に関するトピックを多く含む文書が多数生成されることとなり、地震に関するトピックは、「地震」、「震度」、「地震速報」などの各単語（単語の組み合わせも含む）の出現回数の多項分布で特徴付けられ、津波に関するトピックは、「津波」、「高さ」、「到達時刻」などの各単語の出現回数の多項分布で特徴付けられることとなる。
【０００５】
従来のＬＤＡは、あらかじめ与えられた特定の文書集合からトピックを抽出するように構成されている。従って、経時的に内容が変化するような文書集合において、トピックの変化を抽出することはできない。これに対して、経時的に内容が変化する文書集合の分析に適用可能となるようにＬＤＡを拡張した技術として、Dynamic Topic Model（以下、「ＤＴＭ」という。例えば、非特許文献２。）がある。図２は、ＤＴＭのグラフィカルモデルを示す図である。ｔは、文書集合を取得する時期である。取得時期ｔ毎に文書集合Ｄ(t)が入力され、取得時期ｔ毎の単語分布β(t)、トピック分布θ(t)を生成する。ＤＴＭの特徴は、取得時期ｔ−１における単語分布β(t-1)が取得時期ｔにおける単語分布β(t)の事前分布となっている点、言い換えれば、過去のトピックから現在のトピックを抽出する点である。そのため、β(t)をβ(t-1)と比較することで、トピックの経時的な変化を観測することができる。また、現在のトピックに過去のトピックの影響が反映されるので、特定の取得時期だけの文書集合からトピックを抽出する場合と比較して、現在の文書集合に過学習しない結果が得られる。これにより、次の取得時期ｔ＋１の文書集合に含まれるトピックを高精度に予測することができる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】D. M. Blei, A. N. Ng, and M. I. Jordan. Latent dirichlet allocation. In Journal of Machine Learning Research archive., 2003.
【非特許文献２】D. M. Blei and J. D. Lafferty. Dynamic Topic Models. In Proc. of the 23rd international conference on Machine learning.,2006.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
図３は、２０１１年２月１日から３月３１日までの期間中にTwitterに投稿された１日当たり２０万回のtweetを分析した結果を示すグラフである。累積単語数は、tweetに出現した単語の数の累積値である。新語数は、tweetに出現した単語のうち、当該期間開始後に初めて観測された単語（すなわち、新語）の数である。同図に示す通り、観測開始から２か月が経過した後でも、1日５０００語程度の新語が発生し続けていることが分かる。ところが、ＤＴＭは、あらかじめ固定された語彙集合の範囲内でトピック抽出を行うため、ある時刻において新語が発生した場合であっても、それを考慮したトピック抽出は行われず、トピックを表す単語に新語が加わることはない。従って、図３に示したように日々、新語が発生し続けるような環境では、時間が経つにつれてトピック抽出の精度が低下していくことになる。
本発明は、上述の背景に鑑みてなされたものであり、新語が発生し得る環境においても精度の高いトピック分布を生成することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１に係る文書分析装置は、外部装置から文書集合を取得する取得手段と、過去に前記取得手段によって取得された第１の文書集合の語彙を表す第１の語彙集合と、前記第１の文書集合の後に前記取得手段によって取得された第２の文書集合とに基づいて、前記第２の文書集合の語彙を表す第２の語彙集合を生成する語彙集合生成手段と、前記第１の語彙集合に含まれる各単語の出現回数の多項分布である第１の単語分布に基づいて、前記第２の語彙集合に含まれる各単語の出現回数の事前分布を生成する事前分布生成手段と、前記事前分布に基づいて、前記第２の語彙集合に含まれる各単語の出現回数の多項分布である第２の単語分布を生成し、当該第２の単語分布で特徴付けられた各トピックの出現回数の多項分布であるトピック分布を生成するトピック分布生成手段と、前記第２の単語分布と前記第２の語彙集合とを蓄積する事前状態蓄積手段とを有することを特徴とする。
【０００９】
請求項２に係る文書分析装置は、請求項１に記載の文書分析装置において、前記語彙集合生成手段は、前記第２の文書集合に含まれる単語のうち、前記第１の語彙集合に含まれない単語の集合である新語集合と、前記第１の語彙集合の一部又は全部を含む既知語集合とを生成し、前記事前分布生成手段は、前記新語集合に対応する事前分布を生成する一方、前記第１の単語分布のうち前記既知語集合に対応する単語分布を前記既知語集合に対応する事前分布として用いることを特徴とする。
【００１０】
請求項３に係る文書分析装置は、請求項２に記載の文書分析装置において、前記事前分布生成手段は、前記新語集合に対応する事前分布を、前記第１の単語分布の平均値により生成することを特徴とする。
請求項４に係る文書分析装置は、請求項２に記載の文書分析装置において、前記語彙集合生成手段は、前記第１の語彙集合に含まれる単語のうち、いずれかのトピックにおいて出現回数が閾値以上である単語により前記既知語集合を生成することを特徴とする。
【００１１】
請求項５に係る文書分析方法は、過去に取得された第１の文書集合の語彙を表す第１の語彙集合と、前記第１の文書集合の後に取得された第２の文書集合とに基づいて、前記第２の文書集合の語彙を表す第２の語彙集合を生成する語彙集合生成ステップと、前記第１の語彙集合に含まれる各単語の出現回数の多項分布である第１の単語分布に基づいて、前記第２の語彙集合に含まれる各単語の出現回数の事前分布を生成する事前分布生成ステップと、前記事前分布に基づいて、前記第２の語彙集合に含まれる各単語の出現回数の多項分布である第２の単語分布を生成し、当該第２の単語分布で特徴付けられた各トピックの出現回数の多項分布であるトピック分布を生成するトピック分布生成ステップと、前記第２の単語分布と前記第２の語彙集合とを蓄積する事前状態蓄積ステップとを有することを特徴とする。
【００１２】
請求項６に係るプログラムは、コンピュータを、外部装置から文書集合を取得する取得手段と、過去に前記取得手段によって取得された第１の文書集合の語彙を表す第１の語彙集合と、前記第１の文書集合の後に前記取得手段によって取得された第２の文書集合とに基づいて、前記第２の文書集合の語彙を表す第２の語彙集合を生成する語彙集合生成手段と、前記第１の語彙集合に含まれる各単語の出現回数の多項分布である第１の単語分布に基づいて、前記第２の語彙集合に含まれる各単語の出現回数の事前分布を生成する事前分布生成手段と、前記事前分布に基づいて、前記第２の語彙集合に含まれる各単語の出現回数の多項分布である第２の単語分布を生成し、当該第２の単語分布で特徴付けられた各トピックの出現回数の多項分布であるトピック分布を生成するトピック分布生成手段と、前記第２の単語分布と前記第２の語彙集合とを蓄積する事前状態蓄積手段として機能させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、新語が発生し得る環境においても精度の高いトピック分布を生成することができる。
【図面の簡単な説明】
【００１４】
【図１】ＬＤＡのグラフィカルモデルを示す図である。
【図２】ＤＴＭのグラフィカルモデルを示す図である。
【図３】Twitterに投稿されたtweetを分析した結果を示すグラフである。
【図４】通信システム１の構成を示す図である。
【図５】文書分析装置３０のハードウェア構成を示すブロック図である。
【図６】文書分析装置３０の機能を示すブロック図である。
【図７】文書分析装置３０が実行する処理の流れを示す図である。
【図８】語彙集合のサイズ、新語数、及び削除される語数を示す図である。
【発明を実施するための形態】
【００１５】
本発明の実施形態について説明する。
（１）実施形態の構成
図４は、本発明の実施形態に係る通信システム１の構成を示す図である。通信システム１は、移動通信ネットワーク１０と、移動通信装置２０と、移動通信ネットワーク１０にゲートウェイ装置６０を介して接続されたインターネット５０と、ゲートウェイ装置６０に接続された文書分析装置３０と、インターネット５０に接続された複数のウェブサーバ装置４０とを備えている。
【００１６】
移動通信装置２０は、例えば携帯電話機などの通信可能なコンピュータであり、ＣＰＵ（Central Processing Unit）などの演算装置とＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）などの記憶装置からなる制御部と、ＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）やバックアップ電源を備えたＳＲＡＭ（Static Random Access Memory）などの記憶部と、アンテナや無線通信回路からなる無線通信部と、スピーカ、マイクロホン及び音声処理回路からなる音声入出力部と、複数のキーやタッチスクリーンなどの操作子を備えた操作部と、液晶パネルや液晶駆動回路からなる表示部とを備えている。この移動通信装置２０において、制御部は、操作部が受け付けたユーザの操作に応じて、通信部を制御することにより移動通信ネットワーク１０及びインターネット５０経由でウェブサーバ装置４０にアクセスし、そのウェブサーバ装置４０に蓄積されている情報を取得して、表示部に表示させる。これにより、ユーザはインターネット５０上にある様々な情報にアクセスし、それを閲覧することができる。
【００１７】
移動通信ネットワーク１０は、移動通信装置２０に通信サービスを提供するネットワークである。この移動通信ネットワーク１０は、自局の無線セル内に存在する移動通信装置２０との間で無線通信を行う基地局、ネットワーク内で伝送されるデータのルーティングを行う交換局、及び移動通信装置２０の位置登録などを行う制御局といった各種ノードと、これらのノード間を相互に接続する通信線とを備えている。
【００１８】
ウェブサーバ装置４０は、コンピュータであり、ＣＰＵなどの演算装置とＲＯＭ及びＲＡＭなどの記憶装置からなる制御部と、ハードディスク装置などの記憶部と、インターネット５０に接続された通信部とを備えている。このウェブサーバ装置４０は、インターネット５０及び移動通信ネットワーク１０経由で移動通信装置２０との間でデータ通信を行う機能を備えている。ウェブサーバ装置４０は、マイクロブログのサービスを提供するサーバであり、ユーザがこのサービスの利用者としてウェブサーバ装置４０に登録すると、このユーザに対してマイクロブログへの投稿が許可される。ユーザが移動通信装置２０を用いてこのマイクロブログへ文章を投稿すると、ウェブサーバ装置４０が当該文章を当該移動通信装置２０に返信することにより、当該移動通信装置２０の表示部に当該文章が表示される。また、当該ユーザが他のユーザを登録した場合に、当該他のユーザの投稿した文章も表示部に表示される。このようにして、複数のユーザ間でコミュニケーションを取ることが可能となる。
【００１９】
（２）文書分析装置の構成
図５は、文書分析装置３０のハードウェア構成を示すブロック図である。文書分析装置３０は、コンピュータであり、制御部３１と、通信部３２と、記憶部３３とを備えている。制御部３１は、ＣＰＵなどの演算装置と、ＲＯＭ及びＲＡＭなどの記憶装置とを備えている。ＣＰＵは、ＲＡＭをワークエリアとして用いてＲＯＭや記憶部３３に記憶されたプログラム群を実行することによって、文書分析装置３０の各部の動作を制御する。
【００２０】
通信部３２は、通信インタフェースを備えており、ゲートウェイ装置６０に接続されている。通信部３２は、ゲートウェイ装置６０が中継する、ウェブサーバ装置４０から移動通信装置２０に配信された文書集合をゲートウェイ装置６０から取得して、文書分析装置３０に入力する。つまり、通信部３２は、外部装置から文書集合を取得する取得手段の一例である。
記憶部３３は、書き込み可能な不揮発性の記憶手段であり、例えばハードディスク装置である。この記憶部３３には、制御部３１が実行する処理の手順が記述されたプログラム群を記憶している。また、記憶部３３は、ゲートウェイ装置６０から取得した、ウェブサーバ装置４０が移動通信装置２０に配信する情報を記憶する記憶領域を有している。
【００２１】
図６は、本実施形態に係る文書分析装置３０の機能構成を示すブロック図である。表２は、実施形態の説明で用いる記号とその意味を示す表である。
【表２】
2013069140.tif 000004
【００２２】
文書分析装置３０は、語彙集合生成手段３０１、事前分布生成手段３０２、トピック分布生成手段３０３及び事前状態蓄積手段３０４を有する。文書分析装置３０が実行する処理は、主に、語彙集合の生成、事前分布の生成、トピック分布の生成、事前状態の蓄積、の４つである。
ここで、以下の説明で使用する用語について説明する。
本実施形態では、マイクロブログに投稿された文章（テキストデータ）を分析の対象とし、１回の投稿で移動通信装置２０からウェブサーバ装置４０に送信された文章を文書と呼ぶ。文書集合とは、１つ又は複数の文書からなる集合である。
単語とは、文書を構成する単語であり、日本語では形態素に相当する。単語は、どの品詞でもよい。
【００２３】
取得時期ｔは、ウェブサーバ装置４０から移動通信装置２０に配信される文書集合を文書分析装置３０がゲートウェイ装置６０を介して取得する時期である。文書分析装置３０は、文書集合の取得を契機として、以下に説明する一連の処理を実行する。取得時期ｔは、例えば、２４時間毎、６時間毎といった一定の間隔で定められていてもよいし、間隔を定めずに、文書分析装置３０の管理者や移動通信装置２０のユーザが、随時、文書分析装置３０に文書集合の取得を指示するようにしてもよい。
取得時期ｔは、整数で表される。つまり、文書分析装置３０で処理中の文書集合が取得された時期をｔとすると、前回の処理の対象であった文書集合の取得時期はｔ−１である。
【００２４】
文書集合を構成する文書は、どのように選択してもよい。例えば、投稿日時が最新のものから過去に遡って１０万回分の投稿を取得してもよいし、過去２４時間の投稿から無作為に１０万回分の投稿を抽出して取得してもよい。
新語とは、過去に生成された語彙集合に含まれない単語である。既知語とは、過去に生成された語彙集合に含まれる単語である。
事前分布は、ベイズ推定における事前確率分布であり、事前分布に尤度関数を乗じることにより事後分布が生成される。
【００２５】
次に、各処理の内容について説明する。
（２．１）語彙集合の生成
語彙集合の生成は、語彙集合生成手段３０１によって実行される。語彙集合は、新語集合と既知語集合を結合したものに相当する。つまり、新語集合と既知語集合は、いずれも語彙集合の部分集合であり、語彙集合の生成は、新語集合の生成と既知語集合の生成とを含む。
語彙集合生成手段３０１は、取得時期ｔに取得された文書集合Ｄ(t)を形態素に分解し、各形態素を単語として以下の処理を実行する。
語彙集合生成手段３０１は、取得時期ｔに取得された文書集合Ｄ(t)から、取得時期ｔにおける新語集合Ｗn(t)を生成する（新語集合の生成）。新語集合Ｗn(t)は、取得時期ｔにおける文書集合Ｄ(t)に含まれる単語のうち、取得時期ｔ−１における語彙集合Ｗ(t-1)に含まれない単語の集合である。語彙集合Ｗ(t-1)は、取得時期ｔ−１までに取得された文書集合Ｄ(t-1)の語彙を表す語彙集合であり、事前状態蓄積手段３０４に蓄積されている。語彙集合生成手段３０１は、事前状態蓄積手段３０４から語彙集合Ｗ(t-1)を読み出し、文書集合Ｄ(t)に含まれる単語のうち、語彙集合Ｗ(t-1)に含まれない単語を抽出することにより、新語集合Ｗn(t)を生成する。
【００２６】
また、語彙集合生成手段３０１は、語彙集合Ｗ(t-1)から、取得時期ｔにおける既知語集合Ｗo(t)を生成する（既知語集合の生成）。既知語集合Ｗo(t)は、語彙集合Ｗ(t-1)に含まれるすべての単語を含んでも良いが、その場合、時間が経過するにつれて、語彙集合のサイズが肥大化する可能性があるため、本実施形態では、語彙集合Ｗ(t-1)に含まれる語彙から既知語を選択することによって既知語集合Ｗo(t)を生成する。
既知語の選択方法の一例として、本実施形態では、陳腐化した単語を語彙集合Ｗ(t-1)から削除する。具体的には、各トピックは各単語の出現回数の多項分布で特徴付けられるので、出現回数が少ない単語ほど、トピックの生成に寄与する度合いが少ないことになる。トピックの生成に寄与する度合いの少ない単語は、トピックの生成において陳腐化した重要度の低い単語であり、その単語を削除したとしても、トピックモデルの精度を低下させることにはならないと考えられる。
【００２７】
単語の選択は、具体的には、次式に従って行う。
2013069140.tif 000005
【００２８】
以上が、語彙集合生成手段３０１によって実行される処理の内容である。このようにして生成された新語集合Ｗn(t)と既知語集合Ｗo(t)を結合したものが、語彙集合Ｗ(t)である。
要するに、語彙集合生成手段３０１は、過去に前記取得手段によって取得された第１の文書集合（Ｄ(t-1)）の語彙を表す第１の語彙集合（Ｗ(t-1)）と、前記第１の文書集合の後に前記取得手段によって取得された第２の文書集合（Ｄ(t)）とに基づいて、前記第２の文書集合の語彙を表す第２の語彙集合（Ｗ(t)）を生成する手段の一例である。
また、語彙集合生成手段３０１は、前記第２の文書集合に含まれる単語のうち、前記第１の語彙集合に含まれない単語の集合である新語集合（Ｗn(t)）と、前記第１の語彙集合の一部又は全部を含む既知語集合（Ｗo(t)）とを生成する手段としても特定され得る。
また、語彙集合生成手段３０１は、前記第１の語彙集合に含まれる単語のうち、いずれかのトピックにおいて出現回数が閾値以上である単語により前記既知語集合を生成する手段としても特定され得る。
【００２９】
（２．２）事前分布の生成
2013069140.tif 000006
【００３０】
2013069140.tif 000007
【００３１】
2013069140.tif 000008
【００３２】
2013069140.tif 000009
【００３３】
（２．３）トピック分布の生成
2013069140.tif 000010
要するに、トピック分布生成手段３０３は、前記事前分布に基づいて、前記第２の語彙集合に含まれる各単語の出現回数の多項分布である第２の単語分布（β(t)）を生成し、当該第２の単語分布で特徴付けられた各トピックの出現回数の多項分布であるトピック分布（θ(t)）を生成する手段の一例である。
【００３４】
（２．４）事前状態の蓄積
事前状態の蓄積は、事前状態蓄積手段３０４によって実行される。事前状態蓄積手段３０４は、トピック分布生成手段３０３によって生成された取得時期ｔにおける単語分布β(t)と、語彙集合生成手段３０１によって生成された取得時期ｔにおける語彙集合Ｗ(t)とを蓄積する。蓄積された単語分布β(t)と語彙集合Ｗ(t)は、次の取得時期において単語分布を生成する場合に、語彙集合生成手段３０１と事前分布生成手段３０２とトピック分布生成手段３０３によって参照される。
要するに、事前状態蓄積手段３０４は、前記第２の単語分布と前記第２の語彙集合とを蓄積する手段の一例である。
【００３５】
（３）実施形態の動作
実施形態の動作について説明する（図５、図７参照）。図７は、文書分析装置３０が実行する処理の流れを示す図である。
取得時期ｔに文書集合Ｄ(t)が入力されると、語彙集合生成手段３０１が、文書集合Ｄ(t)から新語集合Ｗn(t)を生成する。新語集合Ｗn(t)は、文書集合Ｄ(t)に含まれる単語のうち、語彙集合Ｗ(t-1)に含まれない単語の集合である。
また、語彙集合生成手段３０１は、語彙集合Ｗ(t-1)から、既知語集合Ｗo(t)を生成する。この際、語彙集合生成手段３０１は、語彙集合Ｗ(t-1)に含まれる語彙から既知語を選択することによって既知語集合Ｗo(t)を生成する。
【００３６】
図８は、閾値κを各トピックにおける単語の出現回数の１％に設定した場合の、語彙集合Ｗ(t-1)のサイズ、新語数、及び語彙集合Ｗ(t-1)から削除される語数を示す図である。語彙集合Ｗ(t-1)の母集団は、図３と同じものを使用した。図８によれば、語彙集合Ｗ(t-1)のサイズが図３の累積単語数の半分以下である２５万語程度に収束していることがわかる。このように、陳腐化した単語を語彙集合Ｗ(t-1)から削除することにより、語彙集合Ｗ(t-1)のサイズが抑制され、計算量の増大による処理速度の低下を防ぐことが可能となる。
ただし、語彙集合Ｗ(t-1)から単語を削除しすぎると、陳腐化した単語だけでなくトピックの生成に寄与する重要な単語も削除されるおそれがあり、その場合、モデルの精度が低下する可能性がある。そのため、実際に運用する際に閾値κをどの程度に設定するかは、計算システムの処理能力と求められるトピックモデルの精度に応じて調整する必要がある。
【００３７】
2013069140.tif 000011
生成されたトピック分布は、様々な用途に利用され得る。例えば、トピック分布に基づいてトピックのランキングを作成し、ランキングの上位何番目かまでに位置するトピックを示す情報を移動通信装置２０のユーザに配信してもよい。また、同様の情報を予め契約した企業や団体に提供してもよい。
【００３８】
上記の実施形態によれば、文書集合が取得される度に語彙集合が更新されるので、新語が発生した場合に、新語が加わった語彙集合に基づいて文書の分析が行われる。よって、新語が発生し得る環境においても精度の高いトピック分布を生成することができる。
また、既知語については過去に生成されたトピック分布を事前分布として用いるので、処理に要する時間を削減することができる。
また、新語については過去に生成されたトピック分布の平均値により事前分布を生成するので、精度の高い事前分布を生成することができる。
また、過去に生成されたトピック分布における出現回数が閾値以上である単語により既知語集合を生成するので、陳腐化した単語が既知語集合に加わらないようにすることができる。
【００３９】
（４）変形例
上記の実施形態を次のように変形してもよい。また、以下の変形例を組み合わせて実施してもよい。
（４．１）変形例１
実施形態では、マイクロブログに投稿された文書集合を分析する例を示したが、他の種類の文書集合を分析するようにしてもよい。
例えば、ウェブサーバ装置４０がニュースの記事を配信するサーバである場合、文書集合として、特定の期間に配信される記事を取得し、この文書集合に対して実施形態と同様の処理を行ってもよい。また、ウェブサーバ装置４０がＳＮＳを管理するサーバである場合、文書集合として、特定の期間にＳＮＳ上で取り交わされるコメントを取得し、この文書集合に対して実施形態と同様の処理を行ってもよい。
【００４０】
（４．２）変形例２
実施形態では、文書集合の配信先を限定しないが、特定の宛先に配信される文書集合を取得して実施形態と同様の処理を行ってもよい。具体的には、文書のヘッダに書き込まれている宛先のアドレスが特定のアドレスである文書のみを取得すればよい。このようにして取得した文書集合から生成したトピック分布を、当該特定のアドレス宛に送信するようにしてもよい。
【００４１】
（４．３）変形例３
実施形態では、文書の配信先が移動通信装置である例を示したが、文書の配信先はどのような装置でもよい。例えば、インターネットに接続された据え置き型のコンピュータでもよい。
実施形態では、文書分析装置３０の制御部３１がプログラムを実行することによって処理を実行する例を示したが、同様の機能をハードウェアで実装するようにしてもよい。また、このプログラムを、光記録媒体、半導体メモリ等、コンピュータで読み取り可能な記録媒体に記録して提供し、この記録媒体からプログラムを読み取って文書分析装置３０の記憶部３３に記憶させるようにしてもよい。また、このプログラムを電気通信回線経由で提供してもよい。
【符号の説明】
【００４２】
１…通信システム、１０…移動通信ネットワーク、２０…移動通信装置、３０…文書分析装置、４０…ウェブサーバ装置、５０…インターネット、６０…ゲートウェイ装置、３１…制御部、３２…通信部、３３…記憶部、３０１…語彙集合生成手段、３０２…事前分布生成手段、３０３…トピック分布生成手段、３０４…事前状態蓄積手段
【図１】
2013069140.tif 000012
【図２】
2013069140.tif 000013
【図３】
2013069140.tif 000014
【図４】
2013069140.tif 000015
【図５】
2013069140.tif 000016
【図６】
2013069140.tif 000017
【図７】
2013069140.tif 000018
【図８】
2013069140.tif 000019