# 学習済み単語分散表現を用いた連続空間トピックモデル

井上 誠一 ${ }^{1}$ 相田 太一 ${ }^{2}$ 浅井 学 ${ }^{1}$ 小町 守 ${ }^{2}$
創価大学 ${ }^{1}$ 東京都立大学 ${ }^{2}$
e1706456@soka-u.jp, m-asai@soka.ac.jp, \{aida-taichi@ed., komachi@\}tmu.ac.jp

## 1 はじめに

トピックモデルは，テキストコーパスから文書中に潜在的に存在する話題を自動的に抽出する統計モデルであり，情報検索 [1]，協調フィルタリング [2],著者識別 [3]，意見抽出 [4] など，自然言語処理の内外で様々なアプリケーションに応用されている.

トピックモデルの代表的な手法である, Latent Dirichlet Allocation (LDA) [5] は, 各文書に潜在トピックがあると仮定し, 統計的に共起しやすい単語の集合が生成される要因を潜在トピックという観測できない確率変数で定式化している。一方，持橋らによって提案された Continuous Space Topic Model (CSTM) [6] は, LDA とは異なり, 潜在トピックといった中間変数を用いることなく文書をモデル化する。具体的には，単語に潜在座標を明示的に導入し，その上に文書の意味を表すガウス過程に従う関数を考えることで定式化される. LDAでは，単語を生成する確率分布は固定となっており, トピック分布の制御によって単語の生起確率を操作するため,各文書に応じて単語を生成する確率分布を変更することができなかった. それに対しCSTMでは, 単語の確率を潜在トピックを通じてではなく, 単語の潜在座標と文書の意味を表す関数によって文書ごとに直接操作するため, 文書に応じて動的に単語分布を変更することが可能となり， パープレキシティにおいて LDA など従来のトピックモデルを上回る性能を発揮したと報告されている。

CSTM は，単語の分散表現を用いて文書のモデル化を行っているが，分散表現は推定パラメータとしてモデル内で学習される構造となっており，そのパラメータの多さからモデルの推定に時間がかかる. また，その学習に使われる情報は単語の出現頻度のみとなっており, 単語の意味的な関係性を捉えることが難しい. そのため, Gaussian LDA [7] と同様に,単語の意味的な関係性を捉えた単語分散表現を用い，事前情報として与えれば，収束の高速化と精度
の向上が期待できる.

そこで, 本研究では, CSTM の推定パラメータの一つである単語の潜在座標をWord2Vec [8] で事前に学習し, CSTM の生成モデルに学習済みの単語分散表現を導入する手法を提案する，日本語と英語のコーパスを用いて実験を行った結果，収束速度が改善し，パープレキシティにおいて提案手法が CSTM を超える性能を持つことを示した. また，学習したモデルを用いて文書における単語の重要度を観察し，定性的な評価を行った。

## 2 関連研究

## 2.1 連続空間トピックモデル

CSTM では，言語のバースト性 [9]を考慮するため，ディリクレ分布と多項分布の合成分布である Polya 分布を用いて単語の生起確率をモデル化する. $\boldsymbol{y}=\left(y_{1}, y_{2}, \ldots, y_{V}\right)$ を文書 $\boldsymbol{w}$ に出現する各単語の出現頻度とすると, Polya 分布は次のように定義される

$
p(\boldsymbol{y} \mid \boldsymbol{\alpha})=\frac{\Gamma\left(\sum_{v} \alpha_{v}\right)}{\Gamma\left(\sum_{v}\left(\alpha_{v}+y_{v}\right)\right)} \prod_{v} \frac{\Gamma\left(\alpha_{v}+y_{v}\right)}{\Gamma\left(\alpha_{v}\right)}
$

( $\alpha$ は Polya 分布の集中度パラメータ).ここで，各単語 $w_{v}$ が $d$ 次元の潜在座標 $\phi\left(w_{v}\right) \sim \mathcal{N}\left(0, I_{d}\right)$ を持っていると仮定し，それぞれの文書で，意味的に関連のある単語の生起確率を大きくするため，同じ潜在空間上に平均 0 のガウス過程に従う関数

$
f \sim \mathrm{GP}(0, \mathrm{~K})
$

$\left(\mathrm{K}\right.$ はカーネル行列で, $\mathrm{K}_{i j}=k\left(w_{i}, w_{j}\right)=\phi\left(w_{i}\right)^{T} \phi\left(w_{j}\right)$ の内積カーネル）を生成する. ガウス過程 [10] とは，ランダムな回帰関数を生成する確率過程であ $\eta, k\left(w_{i}, w_{j}\right)$ が近いほど対応する出力 $f\left(x_{i}\right), f\left(x_{j}\right)$ も近くなる. $f$ は直感的には「この文書で言いたいこと」を表している. そして，その関数値に従って Polya 分布の集中度パラメータ $\alpha_{v}$ が大きくなるように

$
\alpha_{v} \propto \alpha_{0} G_{0}\left(w_{v}\right) \exp \left(f\left(w_{v}\right)\right)
$

とモデル化する. ここで， $\alpha_{0} \sim \mathrm{Ga}\left(a_{0}, b_{0}\right)$ は推定パラメータであり, $\mathrm{Ga}\left(a_{0}, b_{0}\right)$ はガンマ分布である. また, $G_{0}\left(w_{v}\right)$ は単語 $w_{v}$ の「デフォルト」確率であり，最尤推定値 \# $\left(w_{v}\right) / \sum_{i} \#\left(w_{i}\right)$ を用いる（\# $\left(w_{v}\right)$ は全文書中における単語 $w_{v}$ の出現頻度）。これらを踏まえると，CSTM の生成過程は次のようになる。

1. Draw $\alpha_{0} \sim \operatorname{Ga}\left(a_{0}, b_{0}\right)$.

2. Draw $G_{0} \sim \mathrm{PY}(\beta, \gamma)$. (実際は最尤推定値)

3. For $v=1 \ldots V, \phi\left(w_{v}\right) \sim \mathcal{N}\left(0, I_{d}\right)$.

4. For $n=1 \ldots N$,
- Draw $f_{n} \sim \mathrm{GP}(0, \mathrm{~K})$.
- For $v=1 \ldots V, \alpha_{v}=\alpha_{0} G_{0}\left(w_{v}\right) e^{f_{n}\left(w_{v}\right)}$.
- Draw $\boldsymbol{w} \sim \operatorname{Polya}(\boldsymbol{\alpha})$.

## 2.2 単語の分散表現

Milokov らによって提案された Word2Vec [8] は，分布仮説 [11] に基づいた，単語の意味的な関係性を捉えた分散表現を学習する確率モデルである．学習手法の一つである Continuous Bag-of-Words (CBOW) モデルは， $\delta$ を文脈空幅として，近傍の文脈単語集合 $C_{w_{t}}=\left.\{w_{t \pm i} \mid 1 \leq i \leq \delta\right.\}$ を入力とした時のターゲッ卜単語 $w_{t}$ の予測確率

$
p\left(w_{t} \mid C_{w_{t}}\right) \propto \exp \left(\eta\left(w_{t}\right)^{T} \tilde{\eta}\left(C_{w_{t}}\right)\right)
$

を最大化することにより単語ベクトル $\eta\left(w_{t}\right)$ を学習する. ここで， $\tilde{\eta}\left(C_{w_{t}}\right):=\left|C_{w_{t}}\right|^{-1} \sum_{w \in C_{w_{t}}} \eta(w)$ は全文脈単語ベクトルの平均ベクトルを表す.

## 3 提案手法

## 3.1 学習済み分散表現を用いた文書モデル

我々は，2.1 節で紹介した CSTM に，2.2 節で紹介した手法によって獲得される単語分散表現を導入することでモデルを構築する。まず，CBOW モデルによって意味的な関係性を捉えた単語分散表現を学習する。本研究では，特にトピック的な関係性 [12]を学習するため, 文脈窓幅を比較的大きい $\delta=10$ とし学習を行った. また， $V$ を語彙サイズとして，獲得した単語分散表現 $\eta\left(w_{1}\right), \eta\left(w_{2}\right), \ldots, \eta\left(w_{V}\right)$ に対し,次のように中心化・正規化を施す.

$
\psi\left(w_{v}\right)=\tau S^{-\frac{1}{2}}\left.\{\eta\left(w_{v}\right)-V^{-1} \sum_{i} \eta\left(w_{i}\right)\right.\}
$

ここで， $S$ は正規化定数であり，

$
S=V^{-1} \sum_{i} \eta\left(w_{i}\right)^{T} \eta\left(w_{i}\right)
$

である.また， $\tau$ はハイパーパラメータであり，本研究では $\tau=d^{-1 / 2}$ とした. 次に，持橋らと同様に，式 (5) から得られる単語分散表現からなる潜在空間上に，平均 0 , カーネル関数 $k\left(w_{i}, w_{j}\right)=\psi\left(w_{i}\right)^{T} \psi\left(w_{j}\right)$ のガウス過程に従う関数

$
f \sim \operatorname{GP}\left(0, \mathrm{~K}_{\psi}\right)
$

を考える. しかし $f$ は原理的には無限次元であり，直接推定することは難しいため, Paisley ら [13] と同様に，単語の潜在空間上に文書の潜在座標を表す補助変数

$
u \sim \mathcal{N}\left(0, I_{d}\right)
$

を導入する。このとき，単語の潜在座標をまとめて $\Psi=\left(\psi\left(w_{1}\right), \psi\left(w_{2}\right), \cdots \psi\left(w_{V}\right)\right)^{T}$ とおけば, $f=\Psi u$ の分布は $u$ を積分消去して

$
f \mid \Psi \sim \operatorname{GP}\left(0, \Psi^{T} \Psi\right)=\operatorname{GP}\left(0, \mathrm{~K}_{\psi}\right)
$

となり, $f$ が式 (7) と同じガウス過程に従うことになる。

よって，提案手法では，事前学習済みの単語分散表現を潜在空間上の単語座標とし，文書の意味を表現するガウス過程を，単語ベクトルと同じ潜在空間上にある文書ベクトル $u$ を用いて，

$
f\left(w_{v}\right) \propto \psi\left(w_{v}\right)^{T} u
$

と表現し，式 (3) と同様に $\alpha_{v}$ を

$
\alpha_{v} \propto \alpha_{0} G_{0}\left(w_{v}\right) \exp \left(\psi\left(w_{v}\right)^{T} u\right)
$

として，単語の確率を式 (1) の Polya 分布でモデル化する.

## 3.2 MCMC 法による学習

$N$ 個の文書をまとめて $\boldsymbol{D}=\left(\boldsymbol{y}_{1}, \boldsymbol{y}_{2}, \ldots, \boldsymbol{y}_{N}\right)$ とすると， $\alpha_{0}$ と $\alpha$ の同時分布は

$
p\left(\alpha_{0}, \boldsymbol{\alpha} \mid \boldsymbol{D}\right) \propto \prod_{n} p\left(\boldsymbol{y}_{n} \mid \alpha_{0}, G_{0}, f_{n}\right) p\left(\alpha_{0}\right) p\left(f_{n} \mid \psi\right)
$

であるが， $\alpha$ は式 (10) の文書ベクトル $u$ を通じてのみ変化するので，提案モデルにおける推定パラメー タの $\alpha_{0}$ と $\boldsymbol{u}=\left(u_{1}, u_{2}, \ldots, u_{n}\right)$ の同時分布は，

$
p\left(\alpha_{0}, \boldsymbol{u} \mid \boldsymbol{D}\right) \propto \prod_{n} p\left(\boldsymbol{y}_{n} \mid \alpha_{0}, G_{0}, \psi, u_{n}\right) p\left(\alpha_{0}\right) p\left(u_{n}\right)
$

と表される。モデルの学習には，持橋らと同様に局所解の問題のないランダムウォーク MH 法を用い
表 1 実験に用いた各コーパスの統計量.

た. ${ }^{1)}$ 推定パラメータは，式 (11)の $\alpha_{0}$ と文書べクトル $u$ であり，それぞれ提案分布

$
\begin{aligned}
\alpha_{0}^{\prime} & =\alpha_{0} \cdot \exp (z) \\
z & \sim \mathcal{N}\left(0, \sigma_{\alpha_{0}}^{2}\right) \\
u^{\prime} & \sim \mathcal{N}\left(u, \sigma_{u}^{2} I\right)
\end{aligned}
$

から候補を生成し，尤度比に従う採択確率

$
\begin{aligned}
& \mathscr{A}\left(\alpha_{0}^{\prime}\right)=\min \left.\{1, \frac{\prod_{n} p_{n}\left(\boldsymbol{y}_{n} \mid \alpha^{\prime}\right) \mathrm{Ga}\left(\alpha_{0}^{\prime} \mid a_{0}, b_{0}\right)}{\prod_{n} p_{n}\left(\boldsymbol{y}_{n} \mid \alpha\right) \mathrm{Ga}\left(\alpha_{0} \mid a_{0}, b_{0}\right)}\right.\}, \\
& \mathscr{A}\left(u^{\prime}\right)=\min \left.\{1, \frac{p\left(\boldsymbol{y}_{n} \mid \alpha^{\prime}\right) p\left(u^{\prime} \mid 0, I_{d}\right)}{p\left(\boldsymbol{y}_{n} \mid \alpha\right) p\left(u \mid 0, I_{d}\right)}\right.\}
\end{aligned}
$

を用いて受理の判定を行った。本研究では，ランダムウォーク幅を, 予備実験の結果からそれぞれ $\sigma_{\alpha_{0}}=0.2, \sigma_{u}=0.01$ と置いて実験を行った.

## 4 実験

## 4.1 コーパス

本研究では，英語コーパスの NIPS $^{2}$ ，日本語コー パスの CSJ コーパスと毎日新聞（2013 年度から 10,000 記事をランダムに選択）を用いて実験を行った. 日本語コーパスである CSJコーパスと毎日新聞に対しては, 前処理として $\mathrm{MeCab}^{3}$ )による分かち書き4)を行い，全てのコーパスにおいて，出現頻度が 5 以下の単語を学習データから除外した. 各コーパスの統計量を表 1 に示す.

## 4.2 予測パープレキシティ

性能の評価のため, 提案モデルと CSTM のパー プレキシティを計算した. Wallach ら [15] に従い, データの各文書のランダムな $80 \%$ の単語を用いてモデルを学習し, 残りの $20 \%$ の単語のパープレキシティを計算した。

提案手法と CSTM における各コーパスの予測パー プレキシティを表 2 に示す. 両モデルにおいて，潜

1）事後分布の勾配を使用する Hamiltonian MCMC 法 [14] も試みたが数值微分が必要であり，計算コストの高さから本研究ではランダムウォーク MH 法を用いて実験を行った.

2) https://cs.nyu.edu/ roweis/data.html

3) https://taku910.github.io/mecab/

4）分かち書きの辞書には ipadic を用いた.表 2 各コーパスでのテストセットパープレキシティ.

図 1 提案モデルと CSTM における予測パープレキシティの推移.

在次元数を $10,20,50,100$ と変化させたうち最も良いスコアを示した。提案手法は，3つ全てのコーパスにおける予測パープレキシティで CSTM を下回り，より高い性能であることがわかる.

また, 図 1 に提案モデルと CSTM におけるパープレキシティの推移を示す. 提案モデルは，学習済みの分散表現よりトピック的な関係性を事前情報として持つため, 全てのデータセットに対する学習において収束速度が CSTM を上回った。

## 4.3 文書における上位単語・下位単語

提案モデルと CSTM は単語ベクトルと同じ空間上に文書ベクトルを考え，それらの内積を用いて単語の確率を操作する．そのため，単語ベクトルと文書ベクトルの内積から，文書で現れやすい単語とそうでない単語といった, 文書における単語の重要度を定量的に測ることができる.

例として，提案モデルと CSTM に対して，CSJ コーパスを用いて，「あなたの住んでいる町や地域について」というトピックの文書における内積スコアの上位単語・下位単語を計算し，表 3,4 に示した. 計算には, 文書ベクトルと, 学習に使用した語彙に含まれる全ての単語の単語ベクトルを用いた。 CSTM から計算される上位単語には，「ゲーム」や 「テープ」，「生地」といった文書のトピックとは関係のない語が含まれているが，提案モデルから計算
表 3 提案モデルを用いて，CSJコーパス中の「あなたの住んでいる町や地域について」の講演データにおける上位単語 (左)・下位単語 (右) それぞれ 30 単語.

された上位単語のほとんどが，文書のトピックと関連を持った語であり，「駅」や「町」といったトピックに関連する単語に対して大きな値を示していることが確認できる。また，提案モデルから計算された下位単語についても, 「研究者」や「実験」, また,「音声」や「モーラ」など，文書のトピックに関連のない語に対して小さな値を示していることが確認できる。これは，CSTM と異なり，提案モデルが単語のトピック的関係性を事前知識として持つため，卜ピック的に類似した単語の集合を捉えた文書べクトルの推定が容易になったためと考える。

このように，提案モデルは，文書のトピックと関連する単語に対して適切に大きな確率を与え, 関連の低い単語に対しては小さな確率を与えることから，文書における単語の確率を柔軟に操作できていることがわかる.表 4 CSTMを用いて，CSJコーパス中の「あなたの住んでいる町や地域について」の講演データにおける上位単語 (左)・下位単語 (右) それぞれ 30 単語.

## 5 まとめと今後の展望

本研究では，学習済み単語分散表現を Continuous Space Topic Model に導入することで，単語の意味的な関係性を事前知識として与え，パープレキシティにおいて従来手法を上回り, 収束時間が短縮されたことを示した。また，文書における単語の重要度を観察し，従来手法よりも優れた結果であることを定性的に示した. 今後は, 本研究では使用しなかった Hamiltonian MCMC による最適化等を含めたモデルのより良い推定方法を検討していきたい。

## 参考文献

[1] X. Wei, and W. Croft. LDA-Based Document Models for Ad-Hoc Retrieval. In Proceedings of the 29th Annual International ACM SIGIR Conference
on Research and Development in Information Retrieval, 178-85, 2006.

[2] M. Marlin. Modeling User Rating Profiles for Collaborative Filtering. In Advances in Neural Information Processing Systems, 16:627-34, 2003.

[3] T. Griffiths, M. Steyvers, and P. Smyth. The AuthorTopic Model for Authors and Documents. In Proceedings of the 20th Conference on Uncertainty in Artificial Intelligence, 487-94, 2004.

[4] C. Lin, Y. He, R. Everson, and S. Ruger. Weakly Supervised Joint Sentiment-Topic Detection from Text. In IEEE Transactions on Knowledge and Data Engineering, 24 (6): 1134-45. 2012.

[5] D. Blei, A. Ng, and M. Jordan. Latent Dirichlet Allocation. In Journal of Machine Learning Research, 3:993-1022, 2003.

[6] 持橋大地, 吉井和佳, 後藤真孝. ガウス過程に基づく連続空間トピックモデル. 情報処理学会研究報告 2013-NL-213(11), 1-8, 2013.

[7] R. Das, M. Zaheer, and C. Dyer. Gaussian LDA for Topic Models with Word Embeddings. In Proceedings of the 53nd Annual Meeting of the Association for Computational Linguistics, 1:795-804, 2015.

[8] T. Mikolov, K. Chen, G. Corrado, and J. Dean. Efficient Estimation of Word Representations in Vector Space. In Proceedings of the International Conference on Learning Representations, 2013.

[9] G. Doyle and C. Elkan Accounting for Burstiness in Topic Models. In Proceedings of the 26th Annual International Conference on Machine Learning, 281288, 2009.

[10] C. Rasmussen and C. Williams. Gaussian Processes for Machine Learning, Cambridge, MA, USA:MIT Press, 2006.

[11] S. Harris. Distributional Structure. Word \& World 10 (2-3): 146-62, 1954.

[12] B. Mohit, K. Gimpel, and K. Livescu. Tailoring Continuous Word Representations for Dependency Parsing. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, 2:809-15, 2014.

[13] J. Paisley, C. Wang, and D. Blei. The Discrete Infinite Logistic Normal Distribution. In Bayesian Analysis, 7(2):235-272, 2012.

[14] M. Neal. MCMC using Hamiltonian Dynamics.
Handbook of Markov Chain Monte Carlo, 2(11), 2, 2011 .

[15] H. Wallach, I. Murray, R. Salakhutdinov, and D. Mimno. Evaluation Methods for Topic Models. In Proceedings of the 26th Annual International Conference on Machine Learning, 1105-1112, 2009.