DDSTM:SpikeandSlab事前分布を用いた動的スパース・トピックモデル

トピックモデルとは自然言語処理における文書の確率的生成モデルの一つである．トピックモデルにおいて文書を構成する単語の生成過程はトピック分布にしたがってトピックを選択し，選んだトピックの持つ単語分布にしたがって生成される．ここでトピック分布とは各文書におけるトピックの条件付き分布，単語分布とは各トピックにおける単語の条件付き分布を意味する．文書がトピックモデルから生成されたと仮定した上で，実際に観測された文書から各トピック分布および単語分布を統計的に推定することで，文書に含まれる話題の比率や，話題を構成する単語の分布を知ることができる．トピックモデルの推定手法は多数提案されており，点推定手法の一つとしてPLSA[1]があげられる．PLSA星野崇宏慶應義塾大学経済学部理化学研究所AIPセンターbayesian@jasmine.ocn.ne.jp中川慧野村アセットマネジメント株式会社kei.nak.0315@gmail.comでは，EMアルゴリズムを用いた推定を行うことで，点推定量を求めることができる．一方で，近年，トピックモデルのベイズ推定も提案されており，例えばBleiらによって提案されたLatentDirichletAllocation(LDA[2])があげられる．LDAは，事前分布としてディリクレ分布を仮定し，トピック分布と単語分布に多項分布を仮定することで，MCMCや変分推論を用いたベイズ推定が可能となる．しかし，一般にLDAにおいて，時系列性は考慮されないため，トピック分布や単語分布の時系列的な推移を追うことはできない．そこでトピックの時系列性を考慮するLDAであるDynamicTopicModel(DTM[3])が提案された．DTMでは，データセットは指定された時間ごとに均等に分割され，文書のトピック分布のパラメータおよび各トピックの単語の分布は時間とともに変化する．一方で，トピックモデルでは文書によっては数百のトピックが分布として仮定されることがあるが，実際の文章としてはその中から特定の重要なトピックによって表現されていると想定するのが妥当である．また単語分布についても同様に，多数の単語が含まれる単語分布のうち，トピックごとに特定の重要な単語で構成されていると想定するのが自然である．すなわち，トピック分布および単語分布にこのようなスパース性を導入することが重要である．この観点から，スパース性を考慮したトピックモデルであるDualSparseTopicModel[4]や，SparseTopicalCoding[5]が提案されている．しかし，これらのモデルでは前述の時系列性は考慮されていない．そこで，本研究では，これらの時系列性およびスパース性の問題に対応するために，動的スパース・トピックモデル(DDSTM)を提案する(図1およ.びAlgorithm1)．提案手法は，DTMを基礎とし，トピック分布および単語分布に事前分布にSpikeandSlabPrior[6]を仮定することで，縮小推定を行うことができる．これによりトピック分布と単語分布のスパース性を先行研究のモデルであるDualSparseTopicModelと同程度に担保できることを証明する．また，単語分布とトピック分布の時系列変化を確認できることに加えて，スパース性により各トピックや単語分布の解釈が容易になる利点を有する．以上の提案手法の有効性を確認するために人工データおよび実際のテキストデータを用いた実証分析を行う．