大規模テキストを対象にした分散表現に基づくトピック抽出
尾崎花奈

1(指導教員：小林一郎)

はじめにトピックモデルは，文書の中に潜在的に存在するトピックを自動で抽出するためのモデルである．代表的な手法である LDA(Latent Dirichlet Allocation)[1] は，各文書に潜在トピックがあると仮定し，統計的に共起しやすい単語の集合が生成される要因を，潜在トピックという観測できない確率変数で定式化する．Dasら [2] によって提案された Gaussian LDA は，LDAの改良モデルであり、LDA に単語の分散表現 (Wordembedding) を組み合わせている．従来の LDA ではトピックごとの単語分布をカテゴリ分布としていたのに対し，Gaussian LDA では embedding 空間上の多次元ガウス分布としている．単語の意味的関係性を事前知識として持つため，Gaussian LDA の方がトピックごとの自己相互情報量 (PMI) の値が高くなったと報告している．また，訓練データには出現しない未知語に対してもトピックを推定できるようになった．

(a) LDA

図 1: LDA と Gaussian LDA のグラフィカルモデル
ここで θd は従来の LDA と同じく文書 d のトピック分布を表すが，µk ，Σk はそれぞれトピック k における多次元ガウス分布の平均と分散を表している．また，vd,n は単語ベクトルを表す．

Gaussian LDA における事後分布推定方法では，周辺化ギブスサンプリングを用いているが，本稿ではSVI (Stochastic Variational Inference)[3][4] を用いることによって，計算時間の大幅な短縮を行い，大規模なコーパスに対しての効率的な処理を目指す．

LDA のグラフィカルモデルを図 1(a) に，Gaussian
LDA のグラフィカルモデルを図 1(b) に示す．

32(b) Gaussian LDASVI を用いたトピック推定

Gaussian LDA において，事後分布の推定に用いていたのは周辺化ギブスサンンプリングであった．しかし，ギブスサンプリングは実装が簡潔である利点はあるが，計算時間が非常にかかる．
そこで本稿では, 確率的変分近似法 (SVI : StochasticVariational Inference) [4] を用いることによって，計算時間の大幅な減少を実現し，大規模なデータに対して効率的にトピック解析することを目指す．
変分ベイズにおいては，真の事後分布に対してより簡単な近似分布 q(z, θ, µ, Σ) を考え，対数周辺尤度p(v|α, ζ) の変分下限を最大にする q(z, θ, µ, Σ) を求める．

Gaussain LDA

まず，LDA におけるトピックを生成する分布を多次元ガウス分布にするモデルが Hu ら [5] によって提案された．このモデルに，単語の分散表現を組み合わせたものが Gaussian LDA [2] である．Embedding のツールとしては，word2vec [6] を用いている．連続空間にEmbedding された単語ベクトルに対し，トピック k を同空間上での多次元ガウス分布としている．
単語の分散表現を用いることによって，トピック内の意味的結束性が向上し，実験結果として従来の LDAと比較して PMI が上昇することが確認されている．また，トピックの分布に連続分布を用いることによって，従来の LDA では対応できていなかった未知語に対しても，もう一度モデルでの推定を行うことなしに潜在トピックを割り当てることが可能になっている．

log p(v|α, ζ) ≥ L(v, ϕ, γ, ζ)≜ Eq [log p(v, z, θ, µ, Σ|α, ζ)]− Eq [log q(z, θ, µ, Σ)]．

Gaussian LDA の生成モデルは以下のようになる．

(1)

1. for k = 1 to K(a) Draw topic covariance Σk ∼ W −1 (Ψ, µ)(b)

平均場近似に基づいて，近似分布 q に対して次のように各確率変数に独立性の仮定をおく．

Draw topic mean µk ∼ N (µ, β1 Σk )q(z, θ, µ, Σ) = q(z)q(θ)q(µ, Σ)．

2. for each document d in corpus D(a) Draw topic distribution θd ∼ Dir(α)(b) for each word index n from 1 to Nd(a) Draw a topic zn ∼ Categorical(θd )(b) Draw vd,n ∼ N (µzn , Σzn )(2)

単語ごとのトピック割り当て z のパラメータを ϕ,文書ごとのトピック分布 θ のパラメータを γ ，トピッ
クごとの単語分布の平均と分散 µ, Σ のパラメータを
ζ = (m, β, Ψ, ν) とすると，近似分布 q はそれぞれ以下のように表される．

65

q(zdi = k) = ϕdwdi k ;と表される．ただし，Ψ はディガンマ関数を表し，⟨ ⟩ は期待値を表すものとする．

q(θd ) = Dir(θd |γd )，q(µk , Σk ) = N IW (µ, Σ|m, β, Ψ, ν)．

(3)

アルゴリズムは以下のようになる．

また，パラメータ ϕ, γ は以下のように定義される．

Algorithm 1 SVI for Gaussian LDAϕdwk ∝ exp{Eq [log θdk ] + Eq [log N (vdw |µk , Σk )]}，∑
γdk = α +ndw ϕdwk .
(4)

Define ρt ≜ (τ0 + t)−κInitialize m, β, Ψ, ν randomly.

w

for t = 0 to ∞ do

従来の変分近似法における LDA の学習では，文書データ全体に対して繰り返し学習が必要であったが，SVI は文書を逐次的に学習する．q(zd ), q(θd ) は各文書ごとに学習される近似事後分布であるので逐次学習を行う必要はなく，逐次学習の対象となるのは q(µk , Σk )である．よって，パラメータ ζ = (m, β, Ψ, ν) の更新において, 確率的自然勾配法を用いた最適化を行う．

Estep:

nt 個の単語を含む t 番目の文書において，ζ は固定して ϕt と γt の最適化を行う．次に，ζ の中間パラメー
タ ζ ∗ = (m∗ , β ∗ , Ψ∗ , ν ∗ ) を以下の式で求める．
∑∑
βk ∗ = β + D
ntw ϕtwk ;νk∗ = ν + D
ntw ϕtwk ，

untilw

βm + D

initialize γtk = 1 (The constant 1 is arbitrary.)
repeatSet ϕtwk ∝ exp{Eq [log θtk ] +∑w∑Eq [log N (vtw |µk , Σk )]}Set γtk = α + w ntw ϕtwk
∑1k |change in γtk | < 0.00001
KMstep:Compute ζk∗withEq.(5)Set ζ = (1 − ρt )ζ + ρt ζ ∗end forw ntw ϕtwk v̄k，βk∗∑
4 まとめと今後の課題
βD w ntw ϕtwk(v̄k − m)(v̄k − m)T ．
Ψ∗k = ψ + Ck +∗本研究では，単語の分散表現を取り入れたトピック
βk
モデルにおいて，大規模テキストに対応できる効率の(5)良い計算方法を導入する提案を行なった．今後は，実験を通じて提案手法の正当性を検証していく．
ここで，∑w ntw ϕtwk vtwv̄k = ∑，参考文献w ntw ϕtwk∑
[1] David M. Blei, Andrew Y. Ng, and Michael I. Jordan.
TCk = Dntw ϕtwk (vtw − v̄k )(vtw − v̄k ) ． (6)(2003) Latent dirichlet allocation, J. Mach. Learn.

m∗k =wRes., 3:993-1022, March.

D はコーパスの数を表しており，ζ の計算を文書 tの複製 D 個に対して適用することを意味している．この操作によって，パラメータ ϕ，γ ，ζ を更新する各イテレーションにおいてコーパス全体を必要とすることがなくなり，大規模なデータに対して逐次的な計算が可能になる．次のイテレーションに用いる ζ は，ρt ≜(τ0 + t)−κ , κ ∈ (0.5, 1] で与えられるステップサイズによって，前回のイテレーションの ζ と更新された ζ ∗に対して重みをかけることによって以下の式で求められる．
ζ = (1 − ρt )ζ + ρt ζ ∗ ．

[2] Rajarshi Das, Manzil Zaheer, and Chris Dyer. (2015)
Gaussian LDA for topic models with word embeddings. In Proceedings of the 53nd Annual Meeting ofthe Association for Computational Linguistics.
[3] Matthew D. Hoﬀman, David M. Blei, Francis Bach.
(2010) Online Learning for Latent Dirichlet Allocation. In Advances in Neural Information Processing
Systems.
[4] Matthew D. Hoﬀman, David M. Blei, Chong Wang,John Paisley. (2013) Stochastic variational inference. The Journal of Machine Learning Reseach,
14(1):1303-1347.

(7)[5] Pengfei Hu, Wenju Liu, Wei Jiang, and Zhanlei Yang.
(2012) Latent topic model based on Gaussian-LDAfor audio retrieval. In Pattern Recognition, volume321 of CCIS, pages 556-563. Springer.

また，q のもとでの log θdk と log N (vdw |µk , Σk ) の期待値はそれぞれK∑
Eq [log θdk ] = Ψ(γdk ) − Ψ(γdi )，i=11 TEq [log N (vdw |µk , Σk )] = − vdw⟨Σ−1k ⟩vdw
2
1 T −1T+ vdw⟨Σ−1k µk ⟩ − ⟨µk Σk µk ⟩21−1− ⟨log |Σk |⟩，(8)266[6] Tomas Mikolov, Wen-tau Yih, and Geoﬀrey Zweig.
(2013) Linguistic regularities in continuous space
word representations. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 746-751, Atlanta, Georgia,June.