連続時間フラクショナル・トピックモデル

トピックモデルとは文書の確率的生成モデルの一つである．トピックモデルにおいて文書の生成過程はトピック分布にしたがってトピックを選択し，選んだトピックの持つ単語分布にしたがって単語を選択していくことで生成される．ここでトピック分布とは文書中の各話題の比率，単語分布とは各話題を構成する単語の分布を意味する．文書がトピックモデルから生成されたと仮定した上で，実際に観測された文書から各トピック分布および単語分布を統計的に推定することで，文書に含まれるの話題の比率や，話題を構成する単語の分布を知ることができる．トピックモデルの中でも，Bleiらによって提案されたLatentDirichletAllocation(LDA)[1]や，トピック間に相関を加えるモデル[2]も提案されている．一般にLDAにおいては時系列性は考慮されない藤本悠吾野村アセットマネジメント株式会社yu5fujimoto@gmail.com林晃平東京大学大学院数理科学研究科kohei@ms.u-tokyo.ac.jpため，トピックの時系列的な推移を確認することはできない．この問題に対応するためにトピックの時系列性を考慮するLDAであるDynamicTopicModel(DTM)が提案された[3]．DTMでは，データセットは指定された時間ごとに均等に分割され，文書のトピック分布のパラメータおよび各トピックの単語の分布は時間とともに変化する．さらにDTMが離散的な時間変化をモデリングしているのに対して，DTMを連続時間に拡張したContinuousTimeDTM(cDTM)が提案された[4]．上述の通り，従来の動的トピックモデルは各時刻における単語生成およびトピック生成のパラメータが時間変化するモデルであった．そこでは，1ステップ前のパラメータに対し独立に正規分布に従う確率変数を加えることで次の時刻のパラメータを定めており，生成パラメータの増分は各時点で独立である．しかしながら，例えばある時刻で新単語または新トピックに特有の単語が増加傾向にあるとすると，次の観測点の時刻でもその増加傾向に応じて単語とトピックの分布が変化すると考えるのが自然である．即ち，生成パラメータの変化量は，各時刻で正の相関を持つと仮定することで，より現実に即した文書生成を行えると考えられる[5,6,7,8]．また，逆にある時刻で語られていたトピックが次の時刻では語られなくなり，新しいトピックが急に語られるような事象，すなわちトピック分布の負の相関性(ラフさ)を記したいケースも考えられる．そこで本研究では，生成パラメータの増分の正相関性および長時間依存性またはラフさを考慮にいれた手法である，連続時間フラクショナル・トピックモデルを提案する．提案手法は，標準Brown運動の一般化であり，増分が正の相関を持ち，かつ長期記憶性をまたはラフさを持つ非整数階Brown運動[9]を生成パラ.メータの増分過程として利用する．したがって，提案手法はcDTMの一般化になっている．そのため，テキストのタイムステップが均一でない場合あるいは欠損がある場合でもモデル化可能である．そして，実際の経済ニュースデータを用いた数値実験によって，提案手法がトピックの正相関性(長時間依存性)または負相関性(ラフさ)を捉えることができることを確認する．