情報論的学習理論テクニカルレポート 2009
Technical Report on Information-Based Induction Sciences 2009 (IBIS2009)

オンライン学習可能な多重スケールでの時間発展を考慮したトピックモデル

Online Multiscale Dynamic Topic Models
岩田 具治∗†Tomoharu Iwata

山田 武士 ∗
Takeshi Yamada

櫻井 保志 ∗
Yasushi Sakurai

上田 修功 ∗
Naonori Ueda

Abstract: We propose an online topic model for sequentially analyzing the time evolutionof topics in document collections. Topics naturally evolve with multiple timescales. For
example, some words may be used consistently over one hundred years, while other words
emerge and disappear over periods of a few days. Thus, in the proposed model, current
topic-speciﬁc distributions over words are assumed to be generated based on the multiscale
word distributions of the previous epoch. Considering both the long-timescale dependency
as well as the short-timescale dependency yields a more robust model. We derive eﬃcientonline inference procedures based on a stochastic EM algorithm, in which the model issequentially updated using newly obtained data; this means that past data are not required
to make the inference. We demonstrate the eﬀectiveness of the proposed method in terms
of predictive performance and computational eﬃciency by examining collections of real
documents with timestamps.
Keywords: Topic model, Time series analysis, Stochastic EM algorithm

1

はじめに
近年，トピックモデルを用いた学術論文や新聞記事，

ブログ等の文書集合の時間発展を解析する技術が注目されている [1, 4, 6, 10, 13, 17, 18, 19]．トピックモデ
ルは，bag-of-words 表現された文書の生成過程を確率的にモデル化したものである．トピックモデルでは，ある文書に含まれる各単語は，文書固有のトピック比率に従ってあるトピックを選択した後，そのトピックに固有の単語出現確率分に従って生成される．代表例として，

Probabilistic Latent Semantic Analysis（ PLSA ）[8] やLatent Dirichlet Allocation（ LDA ）[5] があり，時間発
展解析だけでなく，情報検索 [5] や協調フィルタリング[9]，可視化 [11] など ，様々な分野に適用されている．
本稿では，複数の時間スケールでのトピックの発展を解析するためのトピックモデル，多重スケール時間発
展トピックモデル (Multiscale Dynamic Topic Model:

MDTM)，を提案する．トピックは複数の時間スケールで発展する．このことを新聞記事データにおける「政治∗ NTT コミュニケーション科学基礎研究所

NTT Communication Science Laboratories† e-mail: iwata@cslab.kecl.ntt.co.jp

トピック」を例にして考える．
「 憲法」
「 国会」
「 総理大
臣」など百年以上の長期間に渡って頻出する単語もあれ
ば，国会議員の名前など数十年の期間に渡って出現する
単語，審議中の法案名など 数日のみしか出現しない単語もある．このトピックの多重スケール性を考慮するため，提案モデルでは，ある時刻のトピック固有の単語分
布は，一時刻前に推定された複数の時間スケールでの単語分布を基に生成されると仮定する．これにより，短期間の依存性とともに長期間の依存性もモデルに組み込むことができるため，情報損失を削減でき，モデルの信頼性を高めることができる．
また，確率的 EM アルゴ リズムを用いた，提案モデ
ルの効率的なオンライン学習法を提案する．新たに得られたデータを用いてモデルを逐次的に更新することができるため，過去のデータを記憶する必要がなく，記憶容
量・計算量を削減することができる．また，提案法では，各トピック，各時刻，各スケール毎に依存性をデータから学習するため，トピックの時間発展を柔軟に追跡することが可能である．
これまでにいくつかの文書集合におけるトピックの時間発展を解析する手法が提案されている [1, 4, 10, 18]

提案モデルでは，多重スケール時間発展を考慮するた
表 1: Notation
SymbolDt
Nt,dW
wt,d,nZzt,d,n
S
θt,d

φt,z

(s)
ω̂t,z

Description
number of documents at epoch t
number of words in the dth document
at epoch t
number of unique words
nth word in the dth document at epoch t,
wt,d,n ∈ {1, · · · , W }number of topics
topic of the nth word in the dth document
at epoch t, zt,d,n ∈ {1, · · · , Z}
number of scales
multinomial distribution over topics
for the dth document at epoch
Pt,
,
θ
≥
0,
θt,d = {θt,d,z }Z
t,d,z
z=1
z θt,d,z = 1
multinomial distribution over words
for the zth topic at epoch t, P
φt,z = {φt,z,w }W
w=1 , φt,z,w ≥ 0,w φt,z,w = 1
multinomial distribution over words
for the zth with scale s topic at epoch t,
P
(s)
(s)
(s)
(s)
ω̂t,z = {ω̂t,z,w }W
w=1 , ω̂t,z,w ≥ 0,w ω̂t,z,w = 1

め，時刻 t におけるトピック z の単語分布 φt,z は，時刻 t−(s)

1 における複数の時間スケールでの単語分布 {ω̂t−1,z }Ss=1(s)を基に生成されると仮定する．ここで ω̂t−1,z は時刻 t−1
におけるスケール s でのトピック z の単語分布を表す．
具体的には，単語分布 φt,z の事前分布として，平均が多重スケール単語分布の重み付き和である以下のディリ
クレ分布を用いる．
S∑(s)φt,z ∼ Dirichlet(
λt,z,s ω̂t−1,z ),

(1)

s=0

ここで λt,z,s > 0 は重みである．また，ゼロ確率問題を回避するため，スケール s = 0 の単語分布として一様分布を仮定する ω̂t,z,w = W −1 ．重みは，新たに得られた(s=0)

データと過去に学習したモデルを用いて，各時刻，各ス
ケール，各トピック毎に推定する．重みの推定法については 2.2 節で述べる．推定された時刻 t − 1 の多重スケー(s)が，これらの手法は多重スケール時間発展を考慮する

ル単語分布 {ω̂t−1,z }S
s=1 は時刻 t においてはハイパーパ

ものではない．多重スケール性を考慮するものとしてラメータとみなされる．多重スケール単語分布の推定にMultiscale Topic Tomography Model (MTTM)[13] がついては，2.3 節で説明する．

提案されている．しかし，MTTM はポアソン過程を用

スケールの設定方法はいくつか考えられるが，計算効いたモデルであり，LDA[5] などのトピックモデルで用率のため，また，最適なスケール設定は未知であるため，いられるディリクレ多項分布とは異なるモデル化であり，

ω̂t,z は時刻 t − 2s−1 + 1 から t までの単語分布を表す，

また，オンライン学習ができないという問題点がある．

という単純なスケール設定を考える．この設定におけるトピックモデルではなく特異値分解を用いて複数の時系

多重スケール単語分布イメージを図 2 に示す．単語分布

列データを解析する手法も提案されている [14] が，特異はスケールが長いほど平滑化され，スケールが短いほど値分解では正規分布ノイズを仮定しているため，文書や尖った形になる．このような様々なスケールの情報を事

購買ログなどの離散データの解析には適さない [8]．

前分布に利用することにより情報損失を削減でき，モデ(s)

ルをより頑健に学習することができる．

提案法

2
2.1

モデル

本稿で用いる表記法を表 1 に示す．時刻 t の第 d 文書
Nt,dは，その文書に含まれる単語集合 wt,d = {wt,d,n }n=1によって表現される．ここで時刻 t は離散変数とし，一日や一年など 単位時間を任意に設定することができる．

LDA ではトピック比率 θt,d はディリクレ分布に従う．
一方，提案モデルにおいては，トピック比率の時間発展を考慮するため，デ ィリクレ分布のパラメータ αt =

{αt,z }Z
z=1 を，一時刻前のディリクレ分布のパラメータに依存させる．具体的には，以下のガンマ事前分布を用いる．

αt,z ∼ Gamma(γαt−1,z , γ),(2)

まず，提案モデルの基となる LDA について説明する．

LDA では，各文書が固有のトピック比率 θt,d を持つとする．単語 wt,d,n は，潜在トピック zt,d,n をトピック比率
θt,d に従い選択した後，トピック固有の単語分布 φt,zt,d,nに従って生成される．図 1(a) に LDA のグラフィカルモ
デルを示す．ここで，塗潰し円は観測変数，中抜き円は潜在変数，矢印は依存関係，矩形は繰り返しを表す．ト
ピック比率 θt,d と単語分布 φt,z はそれぞれ独立同一なデ ィリクレ分布に従うと仮定するため，LDA では時間発展が考慮されていない．

ここで，平均は αt−1,z ，分散は αt−1,z /γ である．この事前分布を用いることにより，新しいデータを観測しなければ，トピック比率の平均は一時刻前の平均と同じになる．パラメータ γ はトピック比率分布の一貫性を調節するものである．
上記の議論をまとめると，提案モデルでは，時刻 t−1 に(s)Zおける多重スケールパラメータ Ω̂t−1 = {{ω̂t−1,z }S
s=0 }z=1 ，デ ィリクレ分布のパラメータ αt−1 = {αt,z }Z
z=1 が与えられたとき，以下の過程によって，時刻 t における文書t
集合 Wt = {wt,d }D
d=1 が生成されると仮定する．

α

t

t-1

t

α

α

α

θ

θ

θ

z

z

z

θ

z

w
N

w

w

φ

w
N

N

D

D

N

D

φ

φ

D

φ

Z
^
ω

β

^

N

λ
S+1 Z

(a) LDA(b) MDTM

^

λ

λ

N

S+1 Z

S+1 Z

(c) online MDTM

図 1: Graphical models of (a) latent Dirichlet allocation, (b) the multiscale dynamic topic model, and (c) its

online inference version.

ω̂ (4)t-1,zw

ω̂ (3)t-1,zw

w

ω̂ (2)
t-1,z
w

t-8

t-4

t-2

ω̂

(1)
t-1,z

ある．時刻 t における文書集合 Wt と一時刻前に推定さλt , z ,4λt , z ,3λt , z ,2φ t,zλt , z ,1

λt , z ,0

t-1

れた多重スケールパラメータ集合 Ω̂t−1 が得られているとする．文書集合および潜在トピック集合の同時分布はω̂ (0)
t-1,zw

図 2: Illustration of multiscale word distributions at(s)epoch t with S = 4. Each histogram shows ω̂t−1,z ,which is a multinomial distribution over words withtimescale s.
1. For each topic z = 1, · · · , Z:(a) Draw word probability∑(s)φt,z ∼ Dirichlet( s λt,z,s ω̂t−1,z ),(b) Draw topic proportion prior
αt,z ∼ Gamma(γαt−1,z , γ),
2. For each document d = 1, · · · , Dt :(a) Draw topic proportions
θt,d ∼ Dirichlet(αt ),(b) For each word n = 1, · · · , Nt,d :i. Draw topic
zt,d,n ∼ Multinomial(θt,d ),ii. Draw word
wt,d,n ∼ Multinomial(φt,zt,d,n ).
図 1(b) に提案モデルのグラフィカルモデルを示す．

2.2

オンライン学習提案モデルは，確率的 EM アルゴ リズム [2] を用いる
ことにより，効率的にオンライン学習することが可能で下式で表される．

P (Wt , Zt , αt |αt−1 , γ, Ω̂t−1 , Λt )= P (Zt |αt )P (Wt |Zt , Ω̂t−1 , Λt )P (αt |αt−1 , γ),(3)Nt,d Dt
ここで Zt = {{zt,d,n }n=1}d=1 はトピック集合，Λt ={{λt,z,s }Ss=0 }Z
z=1 は重み集合を表す．提案モデルでは，単語分布の事前分布として，共役事前分布であるディリクレ分布を用いているため，単語分布パラメータ {φt,z }Z
z=1を積分消去することができる．上式第一項は P (Zt |αt ) =∏Dt ∫tP (zt,d |θt,d )P (θt,d |αt )dθt,d であり，{θt,d }D
d=1
d=1 を
消去することで下式となる．

∑)D ∏ ∏Γ( z αt,z )+ αt,z )z Γ(Nt,d,z∑,
P (Zt |αt ) = ∏Γ(Nt,d + z αt,z )z Γ(αt,z )d(4)
ここで Γ(·) はガンマ関数，Nt,d,z は時刻 t の第 d 文書で∑トピック z が割り当てられた単語数，Nt,d = z Nt,d,zを表す．同様に，第二項は，{φt,z }Z
z=1 を積分消去する
ことにより，下式となる．
∑∏
Γ( s λt,z,s )P (Wt |Zt , Ω̂t−1 , Λt ) =
∏
∑
(s)
z
w Γ(
s λt,z,s ω̂t−1,z,w )∏∑(s)
λt,z,s ω̂t−1,z,w )w Γ(Nt,z,w +
∑s
, (5)
×
Γ(Nt,z + s λt,z,s )(ここで Nt,z,w は時刻 t において単語 w にトピック z が∑割り当てられた数，Nt,z = w Nt,z,w を表す．第三項

は，(2) を用いることにより，下式となる．

P (αt |αt−1 , γ) =γαt−1,z −1∏ γ γαt−1,z αt,zexp(−γαt,z )Γ(γαt−1,z )

z

.

(6)
潜在トピックは Collapsed ギブスサンプリング [7] を用いることにより，効率的に割り当てることができる．
表記の簡素化のため j = (t, d, n) とする．トピック zj を除く全ての変数が与えられたとき，zj は同時分布 (3) かN̂t,z,w = Nt,z φ̂t,z,w により計算できる．ここで φ̂t,z,w は
φt,z,w の推定値を表し，∑(s)
Nt,z,w + s λt,s,z ω̂t−1,z,w∑,(11)
φ̂t,z,w =Nt,z + s λt,s,zにより得られる．式 (10) において，期待値 N̂t,z,w では(s=1)

なく，実際の値 Nt,z,w を用いることも可能だが，ω̂t,z,wと φt,z,w の推定値をN̂t,z,w(s=1)
ω̂t,z,w = ∑= φ̂t,z,w ,w N̂t,z,wら導かれる下式の確率に従ってサンプリングされる．

P (zj = k|Wt , Zt\j , αt , Ω̂t−1 , Λt )∝∑(s)
Nt,d,k\j + αt,k Nt,k,wj \j + s λt,s,k ω̂t−1,k,wj∑∑,
Nt,d\j + z αt,zNt,k\j + s λt,s,k(7)

ここで \j はサンプル j を除いたときの回数を表す．
重み Λt およびハイパーパラメータ αt は不動点反復(12)のように一致させるため，期待値を用いた．
(s)

(s)

期待値 N̂t,z,w は下式のように，一時刻前の値 N̂t−1,z,wから逐次的に計算できるため，2s−1 回の加算は必要はなく，二回の加算のみで推定可能である．
(s)

(s)

N̂t,z,w ← N̂t−1,z,w + N̂t,z,w − N̂t−2s−1 ,z,w .

(13)

(s)

法により同時分布 (3) を最大にすることにより推定でき

しかしながら，N̂t,z,w の更新には時刻 t − 2S−1 から t − 1

る [12]．このとき Λt の更新式はまでの N̂t,z,w が必要であるため，記憶容量はスケール数に対して指数的に増加し，多重スケール単語分布の更新∑
λt,z,s ← λt,z,s(s)w ω̂t−1,z,w Mt,z,w

Mt,z

,

(8)

に計 O(2S−1 ZW ) の記憶容量が必要となる．そこで，長期スケールの更新頻度を減らし，近似的に期待値を求め0∑(s )ることにより，記憶容量を削減するアルゴ リズム（表 3 ）となる．ここで Mt,z,w = Ψ(Nt,z,w + s0 λt,z,s0 ω̂t−1,z,w )−
(s)
0
∑
∑
を提案する．N̂t,z,w を毎時刻更新するのではなく，2s−1(s )Ψ( s0 λt,z,s0 ω̂t−1,z,w ), Mt,z = Ψ(Nt,z + s0 λt,z,s0 ) −(s)∑
時刻毎に更新することにより，一時刻前の N̂t−1,z,w のΨ( s0 λt,z,s0 ). を表し，Ψ(·) はディガンマ関数 Ψ(x) =(s)
近似値と新たに得られたデータから，N̂t,z,w の近似値を∂ log Γ(x)である．また αt の更新式は∂x計算することができる．つまり，各時刻の期待値 N̂t,z,w∑
γαt−1,z − 1 + αt,z d (Ψ(Nt,d,z + αt,z ) − Ψ(αt,z )) の保持が不要で，記憶容量を O(SZW ) に抑えることが∑∑∑
αt,z ←
γ + d Ψ(Nt,d + z0 αt,z0 ) − Ψ( z0 αt,z0 )でき，記憶容量はスケール数に対して線形に増加するた(9)め，長期スケールの単語分布もモデルに組み込むことがとなる．
(s)
可能である．図 4 に，期待値 N̂t,z,w の提案近似更新図
各時刻のデータが与えられる毎に，ギブスサンプリンを示す．各矩形は N̂t0 ,z,w を表し，矩形内の数字は t0 をグ (7) と同時分布最大化 (8)，(9) を繰り返すことによ(s)表す．各時刻の各行は N̂t,z,w を表し ，塗潰し 矩形は値り，提案モデルをオンライン学習することができる．
が更新されたことを表す．長期スケールの単語分布の変2.3

多重スケール単語分布推定(s)

多重スケール単語分布 ωt,z,w は，確率的 EM アルゴ
リズムにより推定された潜在トピックを用いて推定でき(s)る．ωt,z,w は時刻 t − 2s−1 + 1 から t におけるトピック

z での単語 w の出現確率であるため，その推定値は下式により得られる．
∑t(s)
0N̂t,z,w(s)
t0 =t−2s−1 +1 N̂t ,z,w,
ω̂t,z,w = ∑
=
∑
∑
t
(s)
0
w
t0 =t−2s−1 +1 N̂t ,z,ww N̂t,z,w
(10)
(s)
s−1
ここで N̂t,z,w は時刻 t − 2+ 1 から t までのトピッ
ク z において単語 w の期待出現回数であり，N̂t,z,w は
時刻 t における期待出現回数である．期待出現回数は化は短期スケールの単語分布の変化よりも遅いと考えられるため，長期スケールの更新頻度を減らすことは妥当であると考えられる．図 1(c) にオンライン推定する場合の提案モデルののグラフィカルモデルを示す．
単語分布のデ ィリクレ事前分布のパラメータとして，(1) にあるように，多重スケール単語分布の重み付き和を用いた．このパラメータは，下式の様に，各時刻の単語分布の重み付き和として表現することができる．
∑t−1
S
S
∑
∑
0
(s)
t0 =t−2s−1 N̂t ,z,w
λt,z,s ω̂t−1,z,w =
λt,z,s ∑ ∑t−10w
t0 =t−2s−1 N̂t ,z,w
s=1
s=1

=

t−1
∑
t0 =t−2S−1

λ0t,z,t0 φ̂t0 ,z,w ,

(14)

(1)

ら 2002 年までのアメリカ大統領の一般教書演説のデー

1: N̂t,z,w ← N̂t,z,w

タであり，三段落を集めたものを一文書とみなした [18]．

2: for s = 2, · · · , S do
3:

s−1

if t mod 2= 0 then

(s)
(s−1)
(s−1)
N̂t,z,w ← N̂t,z,w + N̂t−1,z,w

4:
5:

このとき文書数 6,413，語彙数 6,759 であった．全デー
タセットにおいてストップ ワード を省き，単位時間をNIPS，PNAS，Addresses では 1 年，Digg では 1 日と

else
(s)
(s)
N̂t,z,w ← N̂t−1,z,w

6:

した．
提案法 MDTM を DTM，LDAall，LDAone，LDAon-end if
8: end for7:(s)

図 3: Algorithm for the approximate update of N̂t,z,w .

line の 4 手法と比較した．DTM はオンライン学習可能
な時間発展トピックモデルであり，提案モデル MDTM
でスケール数を S = 1 としたときのモデルに対応し，多重時間スケールは考慮していない．LDAall，LDAone，

LDAonline は時間発展を考慮しない LDA モデルである．

s=3

t=4
1 2 3 4t=5
1 2 3 4t=6
1 2 3 4t=7
1 2 3 4t=8
5 6 7 8LDAall では過去の全データを学習に用いる．LDAone

s=2

3 4

3 4

5 6

5 6

7 8

では一時刻前のデータのみ学習に用いる．LDAonline は

s=1

4

8

LDA をオンライン学習したものである [3]．トピック数

5
5

6
6

7
7

8

は全モデル Z = 50 とした．提案モデルにおけるスケー(s)

図 4: Illustration of approximate updating N̂t,z,w fromt = 4 to t = 8 with S = 3.

ル数は、最大スケールの分布がデータ全期間を含むように設定した S = dlog2 T + 1e．ここで T は時刻数である．また，γ = 1 とし，ディリクレ分布のパラメータは，過学習を防ぐため，αt,z ≥ 10−2 の制約のもとで最適化

ここで重みは∑
λt,z,s w N̂t0 ,z,w
0
λt,z,t0 =∑ ∑t−100
w
t00 =t−2s−1 N̂t ,z,ws=dlog (t−t0 +1)+1e
S∑

2

した．各手法の予測誤差をパープレキシティによって評価した．低いパープレキシティは低い予測誤差を表す．
全体の 10%の文書をテスト文書とし ，テスト文書に含(15)まれる半数の単語を予測した．10 セットの学習・テスト

である．従って，提案モデルは過去の各時刻の単語分

データをランダムに作成し，その平均パープレキシティ

布に依存するモデルとみなすこともできる．提案モデで評価した．

ルでは，多重スケールモデルとして考えることにより，
重みパラメータ Λt の数を O(2S−1

平均パープレキシティを表 2 に，各時刻毎のパープレキ

Z) から O(SZ) に削

シティを図 5 に示す．全データセットにおいて，MDTM減できるため，頑健なモデル推定が可能となる．さらが最も低い平均パープレキシティであり，MDTM は多に，近似を用いることにより，上述のように記憶容量も重スケールでの時間発展を考慮することにより，多様な

O(2

S−1

ZW ) から O(SZW ) に削減できる．

文書データの時間発展を適切にモデル化できることを示す．DTM のパープレキシティが高い理由は，長期間の依3

実験存性を考慮していないためであると考えられる．LDAall

提案法を評価するため，NIPS，PNAS，Digg，Ad-と LDAonline は時間発展を考慮していないため，高いdresses の 4 つの実文書データセットを用いて実験を行った．
NIPS データは国際会議 NIPS (Neural Information

パープレキシティとなっている．また，LDAone は一時

Processing Systems) の 1987 年から 1999 年までの論文データであり，文書数 1,740，語彙数 14,036 であっ提案法においてスケール数を変化させたときの平均
パープレキシティを図 6 に示す．スケール数が増加する

た．PNAS データは論文誌 Proceedings of the National

に従い，パープレキシティが減少している．この結果は，Academy of Sciences の 1915 年から 2005 年までのタイトルデータであり，文書数 79,477，語彙数 20,534 で複数の時間スケールの分布を考慮することの重要性を示

刻のみのデータしか学習に利用せず，過去の情報を無視するため，高いパープレキシティとなっている．

している．

あった．Digg データはソーシャルニュースサイト Digg

図 7 に Xeon5355 2.66GHz CPU の計算機を用いた場(http://digg.com) に投稿された 2009 年 1 月 29 日から 2
月 20 日までのブログ記事データであり，文書数 108,356，の計算時間はスケール数に対して線形に増加している．

語彙数 23,494 であった．Addresses データは 1790 年か

また，MDTM では多重時間スケールを考慮しているに合の，一時刻あたりの平均計算時間 (秒) を示す．MDTM

表 2: Average perplexities over epochs. The value in the parenthesis represents the standard deviation over data

sets.
MDTM

DTM

LDAallLDAoneLDAonline

NIPS

1754.9 (41.3)

1771.6 (37.2)

1802.4 (36.4)

1822.0 (44.0)

1769.8 (41.5)

PNAS
Digg

2964.3 (122.0)
3388.9 (37.7)

3105.7 (146.8)
3594.2 (46.4)

3262.9 (159.7)
3652.6 (27.1)

5221.5 (268.7)
5162.9 (43.4)

3401.7 (149.1)
3500.0 (43.6)

Addresses

1968.8 (56.5)

2105.2 (49.7)

2217.2 (75.3)

3033.5 (70.9)

2251.6 (62.0)

2000

12000
MDTM
LDAallLDAone10000
perplexity

perplexity

1900
1800

8000
6000
4000

1700
2000
1600

0
2

4

6

8

10

12

10

20

epoch

40

50

60

70

80

90

epoch

(a) NIPS(b) PNAS

6000

6000
MDTM
LDAallLDAone5000
perplexity

5000
perplexity

30

4000
3000

4000
3000
2000

2000

1000
5

10

15

20

50

epoch

100

150

200

epoch

(c) Digg(d) Addresses

図 5: Perplexities for each epoch with MDTM, LDAall, and LDAone.

も関わらず，全データを用いて学習する LDAall に比べて極めて少ない計算量であると言える．
図 8 に推定されたスケール毎の重み λt,z,s を示す．各
時刻，各トピックで和が 1 になるように正規化している．スケールが長くなるに従い，重みが減少する傾向がある．この結果は，最近の分布は，現在の分布を推定するためにより重要であるという，直感と合致した結果で
ある．

4

おわりに
本稿では，多重時間スケールでの時間発展を考慮したトピックモデルと，その効率的なオンライン学習法を提案した．また，実験により，提案法は従来法に比べより高い精度で予測できることを示した．今後の課題としては，ディリクレ過程を用いたトピック数の自動推定[15, 16] や，スケールの自動設定などが考えられる．

参考文献[1] L. AlSumait, D. Barbara, and C. Domeniconi. On-line
lda: Adaptive topic models for mining text streams
with applications to topic detection and tracking. In
ICDM ’08, pages 3–12, 2008.
[2] C. Andrieu, N. de Freitas, A. Doucet, and M. I. Jordan. An introduction to MCMC for machine learning.
Machine Learning, 50(1):5–43, 2003.
[3] A. Banerjee and S. Basu. Topic models over text
streams: A study of batch and online unsupervised
learning. In SDM ’07, 2007.
[4] D. M. Blei and J. D. Laﬀerty. Dynamic topic models.
In ICML ’06, pages 113–120, 2006.
[5] D. M. Blei, A. Y. Ng, and M. I. Jordan. Latent Dirichlet allocation. Journal of Machine Learning Research,
3:993–1022, 2003.
[6] K. R. Canini, L. Shi, and T. L. Griﬃths. Online inference of topics with latent Dirichlet allocation. In
AISTATS ’09, volume 5, pages 65–72, 2009.
[7] T. L. Griﬃths and M. Steyvers. Finding scientiﬁc topics. Proceedings of the National Academy of Sciences,
101 Suppl 1:5228–5235, 2004.

0

1

2

3

4

5200

4600

4800

4400

4000
3600

4000
3800
3600
3400

2800

3200
0

1

2

3

4

5

6

7

2600

4200

3200
5

2800

perplexity

4400

perplexity

perplexity

perplexity

1880
1860
1840
1820
1800
1780
1760
1740
1720
1700

8

2400
2200
2000
1800

0

1

2

3

4

#scales#scales#scales(a) NIPS(b) PNAS(c) Digg

5

6

0 1 2 3 4 5 6 7 8 9#scales(d) Addresses

図 6: Average perplexity of MDTM with diﬀerent numbers of scales.

4000

800

3500

700

3000

600

2500

500

2000

400

1500

300

1000

6000

900

5000

800
700

4000
600

3000

500
400

2000

1000

200

500

100

0

0

300
200

1000

0

1

2

3

4

5

all

one online

100

0

1

(a) NIPS

2

3

4

5

6

7

8

all

0

one online

01(b) PNAS

2

3

4

5

6

all

0

one online(c) Digg

0

1

2

3

4

5

6

7

8

9

all

one online(d) Addresses

図 7: Average computational time (sec) of MDTM per epoch with diﬀerent numbers of scales, LDAall, LDAone,

0.16

0.24

0.14

0.2

0.18

0.16

0.16

0.14

0.08

0.16
0.12

lambda0.1

lambda0.14

0.12

lambdalambdaand LDAonline.

0.12
0.1

0.12
0.1

0.08
0.08

0.06
0.04

0.06

0.04
1

2

3

4

scale

(a) NIPS

5

0.08

0.04
1

2

3

4

5

6

7

8

scale

(b) PNAS

0.06
1

2

3

4

5

6

1

2

scale

(c) Digg

3

4

5

6

7

8

9

scale

(d) Addresses

図 8: Average normalized weight λ with diﬀerent scales estimated in MDTM.

[8] T. Hofmann. Probabilistic latent semantic analysis. In
UAI ’99, pages 289–296, 1999.
[9] T. Hofmann. Collaborative ﬁltering via Gaussian
probabilistic latent semantic analysis. In SIGIR ’03,
pages 259–266, 2003.
[10] T. Iwata, S. Watanabe, T. Yamada, and N. Ueda.
Topic tracking model for analyzing consumer purchasebehavior. In IJCAI ’09, 2009.
[11] T. Iwata, T. Yamada, and N. Ueda. Probabilistic latent semantic visualization: topic model for visualizing
documents. In KDD ’08, pages 363–371, 2008.
[12] T. Minka. Estimating a Dirichlet distribution. Technical report, M.I.T., 2000.
[13] R. Nallapati, W. Cohen, S. Ditmore, J. Laﬀerty, and
K. Ung. Multiscale topic tomography. In KDD ’07,
pages 520–529, 2007.
[14] S. Papadimitriou, J. Sun, and C. Faloutsos. Streaming
pattern discovery in multiple time-series. In VLDB
’05, pages 697–708, 2005.

[15] L. Ren, D. B. Dunson, and L. Carin. The dynamic hierarchical Dirichlet process. In ICML ’08, pages 824–
831, 2008.
[16] Y. W. Teh, M. I. Jordan, M. J. Beal, and D. M. Blei.
Hierarchical Dirichlet processes. Journal of the American Statistical Association, 101(476):1566–1581, 2006.
[17] C. Wang, D. M. Blei, and D. Heckerman. Continuous
time dynamic topic models. In UAI ’08, pages 579–
586, 2008.
[18] X. Wang and A. McCallum. Topics over time: a nonMarkov continuous-time model of topical trends. In
KDD ’06, pages 424–433, 2006.
[19] X. Wei, J. Sun, and X. Wang. Dynamic mixture models for multiple time-series. In IJCAI ’07, pages 2909–
2914, 2007.