情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2013-NL-213 No.11
2013/9/13

ガウス過程に基づく連続空間トピックモデル
持橋 大地 1

吉井 和佳 2

1

統計数理研究所〒 190-8562 東京都立川市緑町 10-3
daichi@ism.ac.jp

後藤 真孝 2
2

産業技術総合研究所〒 305-8568 茨城県つくば市梅園 1-1-1{k.yoshii,m.goto}@aist.go.jp

概要
本論文では, 単語に潜在空間における座標を明示的に与え, その上でのガウス過程を考えることで, 通常の混合モデルに基づくトピックモデルより高精度なテキストモデルが得られることを示す. 提案法は潜在層が二値ではなく, ガウス分布に従う RBM の生成モデルともみることができ, MCMC により単語の潜在座標を学習することは他の多くの応用や, 可視化にも自然に繋がることができる.
キーワード: ガウス過程, トピックモデル, 潜在意味解析, MCMC, RBM

Modeling Text through Gaussian Processes
1

Daichi Mochihashi1 Kazuyoshi Yoshii2 Masataka Goto2
The Institute of Statistical Mathematics 2 National Institute of Advanced Industrial
Science and Technology

Abstract
This paper proposes a continous space text model based on Gaussian processes. Introducing latentcoordinates of words over which the Gaussian process is deﬁned, we can encode word correlations
directly and lead to a model that performs better than mixture models. Our model would serve as afoundation of more complex text models and also as a statistical visualization of texts.
Keywords: Gaussian process, Topic models, Latent semantic analysis, MCMC, RBM

1

はじめに

テキストや語に潜む見えない “意味” を表現するための統計モデルとして, 1999 年の PLSI [1] によって提案され, 2001 年の LDA [2][3] に受け継がれた確率的
潜在意味解析, またはトピックモデルは自然言語処理の内外で広範に適用されてきた.
LDA は統計的には混合モデルの一種1 であり, トピ
ック別単語分布 p(w|k) (k = 1 · · · K) を, 文書が持つ各∑Kトピックへの所属確率 θ = (θ1 , · · · , θK ) ( k=1 θk = 1)で混合することで, 文書での単語分布を表現する. 新聞などの文書集合について適用すると, 「政治」「国際経済」「国内経済」「芸術」…などのトピックに対応する単語分布が教師なしで得られることが確かめられている.
いっぽう, 制限ボルツマンマシン (RBM) に基づく
一種のニューラルネットである RaP [4], RSM [5] などのモデルは, 混合モデルではなく積モデル (Productof Experts [6]) であり, 文書の話題を国際経済=‘国際’×‘経済’, 民俗音楽=‘民俗’×‘音楽’ などのより基本的な要素の積として表現できるため, 一般に LDA を超える性能を持つといわれている. これらは多層化することで “Deep Learning” といわれ, より高性能となることも報告されている [7][8].
1 正確には, 混合モデルの混合モデル.

ⓒ 2013 Information Processing Society of Japan

しかしながら, 潜在層が 1/0 の二値のベクトルである RBM は最適化がきわめて難しく, 学習率などの多数のパラメータの組み合わせを各データに合わせて発見的に調節しなければ, 品質の低い局所解しか得られない. また, 生成モデルを持たない無向グラフの“ニューラルネットワーク” であり,• 何が学習されているのかが分からない• RBM 以外の他のモデルとの接続が難しいという大きな問題を持っている. こうした理由から,
実際には RBM は研究の場以外ではほとんど使われてこなかった.
そこで本論文では, Latent space models [9, 10] の考え方に基づいて, 単語に潜在空間における座標を明示的に与え, この上でのガウス過程を考えることで,単語および文書の意味をデータから学習することのできる連続空間トピックモデル (CSTM) を提案する.
RBM と異なり, CSTM では文書の潜在表現は二値ではなく, ガウス分布に従う連続値のベクトルである. このため他のモデルとの接続や, 共変量の導入も容易であり, さらに可視化にも自然に繋がる. 特に,
その構造から LDA と異なり, 語彙の確率を直接制御することができるため, 文書や単語自体の素性に基づいた, よりきめ細かいモデル化が可能になる. CSTM
は完全なベイズ生成モデルであるため, 学習は局所解

1情報処理学会研究報告
IPSJ SIG Technical Reportの影響がなく, MCMC で最適化を行うことで RBMに匹敵する性能を容易に達成できる.
以下では, 2 章で背景を説明し, 3 章で CSTM のモデルを導入する. 4 章で学習について, 5 章で共変量を用いた拡張について述べた後, 6 章で実験を行い, 7
章で全体をまとめる.

2

トピックモデルと潜在意味表現

確率的潜在意味解析, またはトピックモデルとは, 文
書ごとの単語出現のばらつきを表現するための確率モ
デルであり, その代表である LDA (Latent Dirichlet
Allocation [3]) では, 離散データ, すなわち単語の集合である文書 w = w1 w2 · · · wN が, 次のようにして生成されたと仮定する.

Vol.2013-NL-213 No.11
2013/9/13

0.9

0.9

0.9

0.8

0.8

0.8

0.7

0.7

0.7

0.6

0.6

0.6

0.5

0.5

0.5

0.4

0.4

0.4

0.3

0.3

0.3

0.2

0.2

0.2

0.1

0.1

0
0

0
0

0.2

0.4

0.6

0.8

1

0.1
0.2

0.4

0.6

0.8

1

0
0

0.2

0.4

0.6

0.8

1

図 2: LDA の生成モデルからランダムに生成した単語分布 p. 混合モデルである LDA では, 単語単体中の低次元トピック単体の内部しかモデル化できない.
よって決まるトピック単体の内部しかモデル化できない. しかし, 上の議論から p をモデル化する際にはトピック z は局外母数 (nuisance parameter) であり, 必ずしも必要ではない. よって, 何らかの方法で直接 p を求めることが考えられる.

意味の分散表現 もう一つの観点は, 意味の分散表
現である. LDA は混合モデルであり, 学習の際にはデータの各単語にそれを生成した潜在トピックを割り当ててゆくが, これは単語をどれかのクラスに確率的にクラスタリングしていることを意味する. しかし実際は, should は助動詞+過去という要素に分解
ここで Mult(θ) は多項分布, Dir(α) はディリクレ分 できたり, 計算言語学の論文は言語学+数学+統計学
布であり, θ および β = { p(w|z) } (z = 1 · · · K) が の要素を持っていたりするように, 文書や単語の意味
LDA のパラメータである.
は複数の素性の束としても捉えられるはずである.
LDA は広く使われており, 時間や文書のラベルな
こうした方向のモデルとして, 図 3 のように出力
どの共変量の利用といった無数の拡張があるが, その 層 v = (v , · · · , v )T と通常は二値の潜在層 h =1V
ほぼ全てがトピック分布 θ の制御のみに関わってお (h , · · · , h )T , h ∈ {0, 1} が重み W を持つ二分1
Hiり, 実際に単語を生成する確率分布 β は固定となっ グラフで結びついている制限ボルツマンマシン (Reている. これはトピックの数を K, 語彙の数を V と stricted Boltzmann Machine, RBM) は因子分解にしたとき, KV 個の値を持つ β を直接パラメータと よる表現を持っており, 次の式で v と h の同時確率
する LDA では, これを動的に変更することが難しい が表される.
ためである. 基本となる β から地域別の β ′ を生成
exp(vT W h)p(v, h) = ∑ ∑(2)
する [11] のような研究もあるが, 有限個のバリエーTvh exp(v W h)
ションを生成するのみであり, 各文書に応じて β を(2) 式の分子は適切に変更することはできない.
∏ ∏∑ ∑ここで上の生成モデルを考えてみると, ステップ 2(3)
exp( i j wij vi hj ) = i j ewij vi hj
は (a)(b) をあわせてと書けるから, これは混合モデルではなく積モデル∑Kwn ∼ p(w) = k=1 θk p(w|k)(1) (Product of Experts [6]) であることに注意されたい.
実際に, v を期待値としたポアソン分布から単語とできるから, これは図 1 のように単語の出現確率が生成されたとする
Rate Adapting Poisson (RAP)p = (p1 , p2 , · · · , pV ) の存在する単語単体の内部に
モデル
[4]
や
,
それを正規化して多項分布にするこ
β1 · · · βK の張る K 次元のトピック単体を考え, これを θ で内分する点を p としていることがわかる. 図 とで可変長の文書を表現できる Replicated Softmax
3 に, LDA からランダムに生成した多項分布 p の例 Model (RSM) [5] は, 混合モデルより良い性能を示すを示した. これから明らかなように, LDA では β に と報告されている.
しかしながら, RBM は一般に最適化が非常に難し

1. トピック (話題) 分布 θ ∼ Dir(α) を生成.
2. For n = 1 · · · N ,(a) トピック z ∼ Mult(θ) を選択.
(b) 単語 wn ∼ p(w|z) を生成.

潜在層 h
出力層 v
図 1: LDA による多項分布 p の生成. β = { p(w|z) }で張られるトピック単体の内部を θ の割合で内分した点が p であり, p から各文書の単語が生成される.

ⓒ 2013 Information Processing Society of Japan

図 3: RBM による因子分解表現. 出力層 v と {0, 1}の値をとる潜在層 h が重み Wvh で結びついている.

2

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2013-NL-213 No.11
2013/9/13

f ∼ GP(0, K)

「鮪」

「樹木」
「鳥」
「イタリア」 「環境」
“言いたい意味”“言いたくない意味”

図 4: 単語の潜在座標とガウス過程に従う関数 f .
く, 学習率, 初期値, モーメント, ミニバッチの大きさなどの最適化パラメータをすべて試行錯誤により適切に設定しなければ, 品質の悪い局所解しか得られない. また, 何が学習されているのか分からないという理論的な側面に加え, 一種のニューラルネットである RBM はそれ以外のモデルとの連携が難しいという問題も持っている. こうした理由から, RBM は研究の場を離れてはあまり使用されてこなかった.
しかし, RBM の基礎となっている分散表現の概念は重要であり, これを, より自然な統計モデルとする仕組みが望まれる.

3

連続空間トピックモデル

ここで考え直してみると, 実は上のトピックモデルでは, 結果的に単語 w の潜在意味表現として, LDA では確率分布 p(k|w) ∝ p(w|k)p(k) を, RBM では重みWwk を持っており, これらが最も重要なパラメータとなっていることに気づく.
そこで我々は, 各単語 w が d 次元の潜在座標
ϕ(w) ∼ N(0, Id ) を持っていると仮定する. このとき, 意味的に関連のある単語の確率を同時に大きくするためには, 図 4 のように, この上に平均 0 のガウス過程に従う関数 (曲面)f ∼ GP(0, K)(4)を生成し, 単語の確率をp(w) ∝ ef (w) G0 (w)k

ここで, nk は w の中での単語 k の頻度である.
これは, 次の 2 つの過程

(6)

1. Draw p ∼ Dir(α).
2. For n = 1 · · · N, Draw wn ∼ p.
から p を積分消去して得られるもので, ステップ 1でそのテキストに適した多項分布をディリクレ分布から生成しているために, バースト性を表現できることが知られている [17].
これらを通して, CSTM では図 6 に示した生成モデルを仮定する. 図 7 に, CSTM から生成した多項分布と単語の潜在座標 ϕ(w) を示した. 図 2 と異なり, CSTM は単語単体のほぼ全域をモデル化できていることがわかる.

4(5)でモデル化する. G0 (w) は単語 w の「デフォルト」確∑率であり, 以下では最尤推定 G0 (w) = n(w)/ w n(w)(n(w) は w の頻度) を考える.
ガウス過程 [12] とは, ランダムな回帰関数を生成する確率過程であり, 実際には単純に無限次元のガウス分布のことである. カーネル行列 K の要素
Kij = k(ϕ(wi ), ϕ(wj )) が近いほど, 対応する出力
f (xi ), f (xj ) も近くなる. f は直感的には, 「この文書で言いたいこと」を表している.
(5) 式はポアソン過程の Multiplicative intensity
モデル [13] または対数ガウス Cox 過程 [14] と同じ考え方に基づくもので, 確率 G0 が文書によって ef 倍される. 後に述べるように, f はほぼ −9 < f < 9 前
後の値をとるので, f > 0 の領域では意味的に関連のある単語の確率は e1 ∼ 2.72 倍から最大で e9 ∼ 8100

ⓒ 2013 Information Processing Society of Japan

倍程度になり, f < 0 の意味的に無関係な語の確率は
e−1 ∼ 0.37 倍から e−9 ∼ 0.0001 倍程度に抑えられる.
f は平均 0 のため, 期待値は E[p(w)] ∝ e0 G0 (w) =G0 (w) であることに注意しよう.
実際のテキストはどうなっているのだろうか. 一つの目安として, Brown コーパスの各文書の単語について, 最尤推定による文書内での単語確率 p̂(w|d) と全体での確率 p̂(w) の対数尤度比 log(p̂(w|d)/p̂(w))
をプロットしたものを図 5(a) に示す. これから, (5)式を変形した f (w) ∝ log(p(w)/G0 (w)) はほぼ正規分布に従っており, ガウス過程でモデル化することが妥当であることがわかる.
ただし, よく見ると, 図 5(b) の Cranfield コーパス[15] での分布は右に裾が長い. これは, 言語には単語が一度出現すると, その後現れやすくなるというバー
スト性がある [16] ためであり,2 この影響をモデル化するために, 我々は式 (5) の p(w) の代わりに, 次のDCM (Polya) 分布を用いる.
∑
Γ(αk ) ∏ Γ(αk +nk )p(w|α) = DCM(α) = ∑ k
Γ( k αk +nk )Γ(αk )

学習

CSTM では, 単語の潜在座標 ϕ(w) および各文書のもつ, ガウス過程に従う関数 f が未知の確率変数である. これはどうやって推定すればよいのだろうか.
25000
20000
15000
10000
5000
0

−4

頻度

−2

0

2

4

log(p̂(w|d)/p̂(w))(a) Brown

10000
8000
6000
4000
2000
0

6

8−4 −2 024

6log(p̂(w|d)/p̂(w))810(b) Cranﬁeld

図 5: コーパスにおける各文書での単語出現確率 (最尤推定値) の, 平均値との対数尤度比 log(p̂(w|d)/p̂(w))のプロット.
2 Cranfield は航空工学の論文抄録で専門用語が多いため, 均衡
コーパスである Brown コーパスよりこの傾向が強い.

3

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2013-NL-213 No.11
2013/9/13

1. Draw α0 ∼ Ga(a0 , b0 ).
2. Draw G0 ∼ PY(β, γ). (実際には最尤推定値)
3. For w = 1 · · · W, ϕ(w) ∼ N (0, Id ).
4. For d = 1 · · · D,
• Draw f ∼ GP(0, K).
• α(w) = α0 G0 (w)ef (w) for w = 1 · · · W .
• Draw w ∼ DCM(α).
図 6: CSTM の生成モデル.
ここで, f は図 4 のように文書ごとに原理的には無限次元, 実際には語彙次元のベクトルであることに注意されたい. こうした f を直接求めることは難しいが, LDA の枠組でトピック間に相関を与えるために潜在座標を導入する DILN [18] と同様に, 補助変数u ∼ N(0, Id )(7)を導入する. このとき, ϕ(w) をまとめて Φ =(ϕ(w1 ), · · · , ϕ(wV ))T とおけば, f = Φu の分布はu を積分消去して

f |Φ ∼ N (0, ΦT Φ) = N (0, K)(8)となる. これは, f が式 (4) と同じガウス過程に従うことを意味する. よって, 式 (6) の DCM に基づくモ
デルでは, 式 (5) は α0 を定数として

1: ϕ(w), ui を N (0, Id ) の乱数で初期化
2: α0 = 1;/* 任意の初期値 */3: for j = 1 · · · J do /* MCMC sweeps */for i = randperm(1 · · · D) do /*文書座標*/
2)
Draw u′i ∼ N(ui , σ(u)′6:if MH-accept(ui ) then7:ui = u′i8:Zi = Update(Zi , ui )9:
end if
10:
end for11:
for w = randperm(1 · · · W ) do /*単語座標*/
2
12:
Draw ϕ(w)′ ∼ N (ϕ(w), σ(ϕ))′
13:if MH-accept(ϕ(w) ) then14:
ϕ(w) = ϕ(w)′15:
for i = 1 · · · D do
16:
Zi = Update(Zi , ϕ(w))
17:
end for18:
end if
19:
end for20:z ∼ N(0, σα2 ) ; α0′ = α0 · exp(z)21:
if MH-accept(α0′ ) then22:
α0 = α0′23:
end if
24: end for
4:

5:

T

α(w) = α0 G0 (w)ef (w) = α0 G0 (w)eϕ(w) u(9) 図 8: CSTM の MCMC 法による学習アルゴリズム.
実際にはさらに, ϕ(w) と ui の更新を混合してランダと書けることになり, 観測値 w から, 潜在変数 α0 ,ムな順番で行っている.
ϕ(w), および u を学習する問題となる.
なお (9) 式はベクトル表記すれば, exp を要素ごと
このアルゴリズムは, ϕ(w) および u についてラに適用するものとしてンダムな順番で更新する MH 法 [20] であり3 , 関数α= exp(ΦU )(10) MH-accept() ではパラメータの事前分布および式 (6),α0 G0(9) から得られる尤度を用いて受理を判定する. σ ,(u)とも書け, 潜在行列 Φ と U を更新する, 非線型な
NMF に似た問題ともみなせる. またはこれは, LSI
において語彙空間を使った後付けの説明 [19] を, 潜
在空間での確率的生成モデルで置き換えたようなものとみることもできる.

MCMC 法による学習 CSTM の潜在変数, 特に
ϕ(w) の間には非常に高い相関があるため, 本研究
では局所解の問題のない MCMC 法によって学習を行った. このアルゴリズムを図 8 に示す.

3

3

3

2

2

2

1

1

1

0

0

0

−1

−1

−1

−2

−2

−2

−3

−3

−3

図 7: CSTM からランダムに生成した多項分布 p と単語の潜在座標 ϕ(w).

ⓒ 2013 Information Processing Society of Japanσ(ϕ) , σ(α) は正規分布のランダムウォーク幅で, 計算効率に影響するが, 本研究では予備実験の結果から
σ(u) = 0.01, σ(ϕ) = 0.02, σ(α) = 0.2 とおいた.
計算効率のため, 各文書ごとに式 (6) で用いる
∑W∑W
ϕ(w)T ui
≡ Zi (11)w=1 α(w) = α0
w=1 G0 (w)eを保持し, パラメータの変化に従って Update(Zi ) で更新してゆく.

5

拡張

5.1

語彙共変量

トピックモデルは文書をモデル化するものであるが,通常は観測値は単語というより, その ID の整数値であり, 自然言語処理というより整数処理に近い. これは, 中間的な「トピック」を持つ LDA では, 文書の持つ情報がその分布に集約されざるを得ないからである. しかし, 提案法は単語の確率を直接取り扱うも3 対数尤度の勾配を用いる Hamiltonian MCMC 法 [21] なども試みたが, 計算量が増える一方で結果が不安定になり, ここでは単純なランダムウォーク MH 法の方が優れていた.

4

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2013-NL-213 No.11
2013/9/13

she ’d’mher ’llmorningn’t
got
said ’ve’remiss house motherwent door
iyou
wifewanted
car
woman
af
looked
told
knew
stood
heard
my
me
room
big
girl
boy
going
him
go
tellturned
your
night
black
home
had
eyes
street
week
get
brown
came
minutes
back
road
took
didheadfathertownasked
he
saw
down
gave
seemedcollege
was
voice
felt
aroundwater
church
front
hands
mr.
off
face
like
want
left
days name
red
south
feet
leave
john
up
out
know
court
board
began
think
2 tax
gone
day
top
look
sure
near
six
city
white
officechildren
moment
york
child
just
could
away
behind
hand
money
keep
right
his
soon
old
thought
let
again
anything
something
table
ever
next
were
see
school
music
then
god
five
would
open
hard
acrossplay
party
company
called’shalf
now
help
once
do
president
land
before
after
held
last
take
never
come
air
himself
young
north
women
body
how
man
at
when
why
becamefamily
am
feel
who
say
put
washington
little
too
here
year
brought
thingsnothing
light
side
sound
along
reallysecretary
over
word
good
seen
about
men
them
university
theyrun
monthsago
thing
serviceenough
what
time
on
there
long
until
where
art
but
later
outsidetoward
us
few
job
no
war
still
itintoiftogether
twofindmind
real
been
aand
way
death
againstpeoplelove
line
sometimes
english
place
high
small
found
1federalschoolsalwayssobetter
while
close
years
businesswiththroughanother
first
all
three
centerfull
department
endwest
almostmakingsays
education
every
class
turn
might
figure
book
best
made
law
we
milliontofromcentury
one
per
peace
thoughwords
becausemilitary
much
that
age
make
cost
very
well
americanstate
new country
believeforprobably
surfacealonematter
life
the
lines
course
early
their
four
perhaps
give
own
plan
far
past
have
above
done
short
able
even
show
great
shouldstrongmembers
during
today
idea
set
any
reason
not
under
in
each
already
mean
our
kind
yet
as
will act
field
among
some
whose
being
only
work
known
havingquite
withoutansecond
those
be
must
world
unitedwhole
information
statesleast
thisfollowing
students
others
both
more
or
times
by
severalinterest
america
of
other
taken
most
given
policycontrol
clear
shall
many
nationallocal
same
since
force
becomesocialpart
pointchangeusedthanpublic special
upon
its
program
seem
seems
use
questionaction
can
form
which
has
whether
does
often
need
history
case
nor
order
rate
societyalthoughexperiencemodern
fact
power
are
either0
themselves
human
group
between
less
true
large
usuallyratheralso
level
government
positionfreepolitical
numberispossible
personal
sense
total
certaincommonmajor
systempresent
resultarea
suchavailable
itselfmay
community
these
therefore
generalproblems
economic
furtherwithinperiodincreasetype
howeverdifferent
processvalue
situationthus
importantstudy
effectevidence
problemfuturemeans
exampledevelopment
necessaryareas
provide0
variousindividualのであるため, 語彙の情報もモデルに自然に含めることができる.
具体的には, 単語 w の持つ特徴 (共変量) ベクトルを c(w) = (c1 , · · · , cn ) とおくと, 文書ごとに対応す
る重み ζd ∼ N(0, In ) を用いて, (9) 式を次のように変更し, MCMC 法の中で ud と同様に更新する.
TT

α(w) = α0 G0 (w)eϕ(w) ud ec(w) ζd

−1
−2

(12)

−1

0

1

−2

2

2
ζd の期待値は 0 なので, 影響がなければ最後の項
図
9:
Brown
コーパスで学習された単語と文書の潜は e0 = 1 となって無視できることに注意されたい.
もし, 文書を通じて現れる単語の多くに共通する特徴 在座標. △が文書の座標 u を表す.
cn があれば, 上式によりその特徴を持つ単語の確率 れたい. ただし, CSTM では説明変数 ϕ(w) 自体もが eζdn cn 倍される.
推定すべき潜在変数となっている.
重要な点は, これは意味内容とは独立だということである. 例えば, 単語を漢字またはひらがなで表記す 6 実験
る, roman word ではなく saxon word を用いる等の英語および日本語の標準的なコーパスを用いて実験
語彙選択は文書内で通常一貫しており, これをモデルを行った. 使用したデータは, NIPS4 , KOS ブログテ
化することが可能になる. 文書-単語の関係ではややキスト5 , 毎日新聞 (2000 年度から 10,000 記事をラン
分かりにくいが, トピックモデルの重要な応用である
ダムに選択), および CSJ 話し言葉コーパス [24] であ協調フィルタリング [22] の文脈で考えてみよう.
る. データの統計量を以下に示した.
この場合, 文書=人, 単語=商品となり, 誰が何の商
データ
文書数 語彙数 総単語数品を買ったか, という購買データがモデル化される.
NIPS
1,740 13,649 2,301,375
このとき, 単語=商品が単なる番号で管理されるだけ
KOS
3,430
6,906
467,714でなく, 「菓子」「電気製品」「高価格帯」「CM 中」
CSJ
3,302 14,993 6,658,503「暖色系の色」…などのさまざまな特徴を同時に持つ
毎日新聞 10,000 16,496 2,697,996
ことは明らかであり, この上である人が, 同じ条件での選択において「寒色系の色」「Sony 製品」を好む,
すなわちこれらの特徴を持つ商品の購買確率が高まることが考えられる. CSTM は, こうした傾向もモデル化することができる.

5.2

語彙選択と文書共変量

文書に付与されたラベルや時間といった共変量を利用してトピックモデルを高精度化する研究は無数に存在するが, 2 章で述べたトピックモデルの制約のため, それらはすべて文書のトピック分布 θ を共変量に影響させるものであった. これに対し, CSTM では文書の共変量と単語を直接関連づけることができる.
文書 d の共変量を c(d) とおくと, (9) をTTα(w) = α0 G0 (w)eϕ(w) ud ec(d) ηw(13)とし, 同様に重み ηw ∼ N(0, IV ) を学習する. これにより, 例えば書き言葉では “get” と言いたい場合でも“obtain” が選ばれ, 女性は “nice” より “adorable” の方を好む [23], といった語彙選択を扱うことができる.
なお, (12) 式も同様であるが, この式は対数をとればlog α(w) =log α0 +log G0 (w)+ϕ(w)T ud +c(d)T ηw(14)となり, 共変量の影響を, 切片 log α0 , log G0 (w) および説明変数による回帰 ϕ(w)T ud からの残差として表現する対数線形回帰モデルともいえることに注意さ

6.1

予測パープレキシティ

提案手法と RSM[5], LDA, および (6) 式の混合モデルである Smoothed DM (SDM) [25] におけるパー
プレキシティを計算した. [26] にならい, データの各
文書のランダムな 80%の単語頻度を用いてモデルを計算し, 残りの 20%の単語の予測確率を計算する. この幾何平均の逆数がパープレキシティとなり, 高性能なモデルほど小さい値となる. こうした予測は, 協調
フィルタリングやリンク解析の際に実際に文書モデルが使われる状況を模したものともなっている.
表 1 にパープレキシティの結果を示す. CSTM は次元数を 10,20,· · · ,50 まで, LDA と SDM はトピッ
ク数を 10,20,50,100 と変化させた. RSM には後に述べるような多数のハイパーパラメータがある. これらのうち, 最高の性能となったものを示した.
CSTM は LDA および SDM と比べ, 常に高い性能を見せることがわかる. 最高性能では RSM にやや及ばないが, ただし, RSM は最適化が難しいため, 平
均的には非常に悪い性能 (NIPS データで 2736.74) であることに注意されたい. 図 10 に様々な最適化パラメータの組み合わせに対する, NIPS データのテスト
セットパープレキシティを示す. これは潜在次元数∈ {20, 50, 100}, 学習率 ∈ {0.05, 0.01, 0.005, 0.001},
ミニバッチのサイズ ∈ {100, 50, 20}, Contrastive divergence の繰り返し数 ∈ {1, 3, 5} の合計 108 個のパ
4 http://www.cs.nyu.edu/˜roweis/data.html
5 http://archive.ics.uci.edu/ml/datasets/Bag+of+Wordsⓒ 2013 Information Processing Society of Japan5

情報処理学会研究報告
IPSJ SIG Technical Report

データ
NIPS
KOS
毎日新聞

CSTM
1383.66
1632.35
473.95Vol.2013-NL-213 No.11
2013/9/13

RSM
1290.741396.61622.69SDM
1638.94
1936.25582.37

LDA
1648.31730.7507.39

表 1: 各データでのテストセットパープレキシティ.
ここでは最高値のみを示した.
ラメータの組み合わせに対し, それぞれ 400 回の繰り返しで計算した結果である. この中で CSTM の性能を超えたのはわずか 4 通りであり, これは事前には予測できない.6 RBM の難しさが見てとれる.

6.2

潜在座標

図 11 に, NIPS データを d = 20 次元で学習した場合の単語の潜在座標を示す. 単語は分散表現されているが, 次元毎に近い意味の単語がまとまっていることがわかる. (‘image’,‘images’),(‘state’,‘states’) のような複数形が, 自動的にほぼ同じ座標となっていることに注意されたい.
なお, CSTM は文書の潜在座標も補助変数 ud として計算するため, 図 9 に示すように, 単語と同様に文書も可視化することができる. ここでは上と異なり,
d = 3 次元に縮約して学習を行った. 従来の PLSV[27]のような手法と異なり, 「トピック」という中間単位を仮定しないため, 文書の座標を単語と直接関連して求められるのが特徴といえる.

6.3

単語の女性らしさ, 男性らしさ

語彙選択の典型的な実例として, 5.2 節で述べたように, 女性と男性の言葉遣いの違いが挙げられる. 最近になって, こうした差も計算言語学の俎上に乗るようになったが [28][29], これらは通常のトピックモデルを基にしているために, トピック選択への影響という面に留まっていた. これに対し, 提案手法では (13) 式により, 文書ラベルに示された性別の, 語彙への影響を直接モデル化することができる.

eζ
0.022626
0.022603
0.022252
0.021917
0.021602
0.021542
0.021403
0.021295
0.0211070.020954
0.020551
0.020187
0.019836
0.019825
0.019105
0.017528
0.017237
0.016810
0.016356
0.016326
0.014809
0.014667
0.014512
0.014346
0.012725

下位語
単語
長尾
求まる
パープレキシティー
与党
公明
サーチ
速報
ディフェンダー
データー量
徳島
ビションフリーゼ
トルシエ
晴郎
共振
鯉のぼり
独占
仕様
カバレージ
真紀子
芦田
しゅ
スラッシュ
湾曲
ハイパーリンク
韻書

表 2: CSJ コーパスから計算した単語の「女性度」.
本研究では, 講演者の性別の付与された CSJ 話し
言葉コーパス [24] を用いた. 3302 講演のうち, 1381
講演が女性, 残りの 1921 講演が男性によるものである. 同内容のテーマが指定されているため, 内容の影
響を (14) 式により除去した上での語彙選択の効果が計算できる.
表 2 に, 得られた単語確率の修正係数 eζ の上位および下位語を示した. 話題選択に関係する語も多少はあるが, 女性の選択しやすい/し難い語が品詞をまたいで, 定量的に取り出せていることがわかる.

6.4

単語の特徴とトピックモデル

20

5.1 節で述べた語彙共変量として, 毎日新聞記事の各単
語が数字, 漢字, ひらがな, カタカナのいずれかのみで成る場合を 1/0 で符号化し, c(テーブル) = (0, 0, 0, 1)のような共変量の下で式 (12) を最適化する実験を行った. 各文書 d に含まれる語が共通の特徴を持つ
場合に, 文書の潜在座標に加えて, 対応する重み10ηd = (η(数字), η(漢字), η(ひらがな), η(カタカナ))

50
Frequency

上位語
eζ
単語
5.189397 会える4.789601 おとなしい
4.734041 混ぜ合わせ
4.653134 いらし
4.575240 敷き
4.490396 っぽく
4.379417 嫁い
4.363100 開ける
4.287748 寄せ
4.258699 出掛ける
4.152641 美しく
4.137955 大ヒット
4.089389 乾い
3.993580 過ごせる
3.985330 治ら
3.976584 こんにち
3.965575 味付け
3.912359 かわいらしい
3.903488 かわいかっ
3.860548 素晴らしかっ
3.829211 素敵3.810095 飲み物
3.802053 飲み会
3.796178 菜園
3.761855 敏感

40
30

0
1000 1500 2000 2500 3000
Perplexity

図 10: 様々な最適化パラメータの組み合わせによる,
RSM の NIPS データのテストセットパープレキシ
ティ. 性能が CSTM (1383.66) を超えたのは, この
うち 3.7%だけであった. この計算には Xeon 2.4GHzの計算機で 2 週間を要している.

が学習される.
図 12 に, η(カタカナ) および η(ひらがな) の値の高かった文書番号を示す. 実際に文書 2364 はカタカ
ナの人名の多い映画評, 文書 4580 はほぼ全体がひらがなで書かれた絵本のテキストであり, 共通する特徴
が教師なしで確かに学習されていた. なお, この際のパープレキシティは 473.27 と, 語彙共変量を用いな
い表 1 の場合と予測性能はほぼ同等であった.

6 学習データのパープレキシティが低くとも, RBM は簡単に
オーバーフィットするため, 実際の性能を示す指標とはならない.

ⓒ 2013 Information Processing Society of Japan6

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2013-NL-213 No.11
2013/9/13

motor
controller
spikepolicyreinforcement

4

3

2

1

0

−1

recurrent
firingprediction

2
trajectory
em

robot

mixturevelocity
posterioractionregression
control
likelihood
dynamics
synapticstimulus
markovstate
stochastic
voltageeyemodelspeechbayesianconditional
dynamic
temporalforwardmotioncorticalsignalsdensitytransition
activity
cortexjointadaptive
feedbackstateslearning
covariancenonlineargaussianeq
priorseries
validationneuronestimate
brain
inhibitory
estimation
synapses
approximationchip
filtermodelsenvironment
signalestimates
gradientmodeling
variancedelay
estimated
path
equations
optimalconvergencetime
iteration
sequencesevidencevisualspatialnoise
tasklearned
backpropagationcelldescent
step
approximate
selection
updateneurons
theoremsourcecircuit
equationbehavior
trainedphase
expvariables
sampling
methods
parameter
stimulifrequency
learn target
activesequence
entropyobservedchannelparameters
term
positionkernel matrix
hidden activation
responses
cells
bias
tasks
actualdependent
criterion
data
samplesclustering
basis
processes
humanfinitecontext
word
inputstrain
gain
probabilities
analogweightsystemproposedinitiallongunits
algorithm
current
steps
distribution
loss
optimization
error
response
weighted
training
expected
hintonchangeexperimentlog
variablepotential
desireddistributions
simulation
continuous
connectionist
component
statistics
cost
goal
boundsfig
trueframework
probability
systems
cambridge
ratesamplerule
crossgeneralization
directionmap
rules
outputconditions
unit propagation
obtainadvances
algorithms
approachclassifiersconditioninternal
assumemethodarchitectureknowledge
rates
correlation
simulations
morganassociative
network
discretesolutionexperimental
world
san
effects
performancebasedmaximum
detection
information
experiments
generated
effectlinearpages
searchfixedstatisticalderivedrandomtest
memoryspace
respect
tableweights
outputs
standard
theorylocal
mapping
maps
components
functionscodingproducetreefunctionaveragepress
ordercurvespoint
problemsbackneuraldirectly
line
netapplied
form
real
ai
view
mit
independent
note
previous
problemreportlevelsconstant
errorsterms
higherlocationresultingnetworks
complexfree
processshow
approaches
schemesolutions
curve
speed
top
presented
computation
part
requiresmultiplecomplexity
due
factorselected
figure
make
means
final
biologicalmeasureincreaseminimumlengthcase
specific
procedureapplication
input
structure
sectionperformed
analysis
university
valuesmeasuredcon
objects
difficultcomparedtechniques
vectorcontrast
showsing
relative
machineartificial
difference
paper
providestudy
computeddefinecomputeconnections
global visiontion
objectreceptive
importantproceedings
pointsleft
shown
technical
equivalent
choiceprocessing
decisionnets
dimensional
achieved
positive
examplesdesignproc
computational
represent
research
limit
discussion
range
results
singlework
bound
regionobtained
individuallevel
significant
findvoldepartment
ieeechosenconstraint
depends
domainproduct
efficientcorrect
conferencesum
hand
simpleorientation
properties
applications
institutetechniquegeneraldefinedtimes
perform
additional
representations
normalfinallyfound
implementation
sciencemadedetermine
present
good
equal
field
comparison
constraints
accuracy
regions
elements
multi
type
dimension
power
full
distributed
callednodes
centerdetermined
resultconsidered
represents
lines
set
layer
relatedrequirednumbersimilarcomputerconnection
high
upper
give
cases
naturalrandomlyclassifiersets
total
class
simplynegativefact
naturegraph
introduction
providedcomputing
basic
small
low
patterns
versionrepresentation
abstract
supportlower
recognition
developed
largerreferences
stage
original
fieldsparalleltypes
connected
patternlayerslarge
classification
scale
energywords
node
thresholdadditioncode
consists
represented
size
featuresdistance
image
vectors
binarycapacityarea
bit classes
imagesfeature

−2
−3

−2

−1

0

1

2

3

simulation
feedback
motor
location
biologicalspeedchangeactivecontrolbrain
institutesynapsespositionbehavior
connections
direction
producecomplextrajectory
environment
desireddiscussion
references
abstract
part
naturerepresentsmitscienceactivity
parallelmaps
inhibitory
actualconditionpress
effectsansimulations
computationalreal
multipleconarea
represent
depends
introduction
controller
department
ing
constant
globalinputsspecificsimilarrobot
university
connection
centercomputation
steps
requiredlayersregioncurrentsynaptic
conditions
initialmakeequallargergoal
provideaddition
basic
velocity
simplelongexperimental
additional
requirescomputer
world
learn
research
forwardinternal
weightedarchitecture
importantactivationcambridge
tion
distributed
actionfinally
dynamic
range
type
properties
adaptive
determineincreaseview
effects
systemlearnedeyemapping
final
figuretopsystems
highershown
point
determinedpresented
input
left
directlyassociativeform
reportlines
resultpresent
schememeasured
network
dependent
levelsvisualachievedmotiontotal
proposed
perform
previous
response
spacedifficultlocal
relatedconsists
developedshow
fact
dynamics
made
types
shows
represented
sum
time
regions
generalprovided
outputneurons
negative
small
unit
fixed
basis
artificial
contrast
work
singleproc
functionsfoundelements
positivechosenresultingrandomly
processingbackdifference
versiontargetgain
cellcalledgive
weightsmap
appliedtasks
connected
dueconsideredsignificant
assumestudy
bias
cortexneuralbased
function
visionpath implementation
equationdescent
order
constraints
task
high
memorysolutionsconference
advances
individual
proceedings
curve
temporalcases
learning
phase
lowpotential
observedhandequations
term
paper
supportnonlinear
experiment
minimumtechnical
cells
neuronevidence
field
solution
dimensional
information
domainterms
values
times
model
find
patternapproaches
aiprocess
level
fig
rule
step
performed
simplyselectedpatterns
application
results
generatedorientation
relative
respectupper
fieldsfull
good
networks
pages
derivedoutputs
processes
constraint
computed
spatialtheoryunits
knowledge
problems
signals
continuous
normalweightequivalent
product
expectedmeans
responses
pointscomputinglinear
net
0
note
human
designsize
large
computeobjectpropagation
definedlengthstructure
problemcasecomponent
original
corticalfactorstandardvol
randomcurvescomparison
linemorgancompared
reinforcement
layer
modeling
hintongradient
searchrepresentations
thresholdbackpropagation
representation
numbercomponents
applications
experiments
measureparameter
objectslower
discretetechniquescorrect
receptive
recurrent
distance
analog
state
scale
ieee
bit
joint
approachanalysis
approximation
detection stimuli
efficientsectionobtainconnectionist
variabletechniqueaverageseriesfeaturesoptimization
rates
choicestage
approximate
delay
power
optimallimit
definemethods
machinecomplexity
finitesourcerate
performancestatesnaturalsignalfrequency
dimension
nets
rules
examplesfreeobtainedalgorithms
expselection
maximum
vectorupdateset
true
trainedmethodcriterion
circuitprocedure
modelsframework
convergencecoding
multi
cost
sets
errorssequencesfeatureindependentgraph
parameters
filtersequence
stimulus
accuracy
correlation
prediction
train
noise
code
test
algorithm
nodevariables
nodes
context
cross
stochastic
matrixstatistics
error
estimated−1
datatransition
samples
eq estimates
samplebinarytable
estimate
firing voltage
capacity
iteration words
energy training
image
generalization
loss
prior
statistical varianceboundsampling
hiddendensitytheorem
vectors
estimation
classes channel
distributions
clustering
decisionchipclassdistribution
probability
boundsentropy images
gaussiankernel
tree−2
recognition
log
classificationregression
covariancepolicyprobabilities
em speech likelihood
spike
conditional
validation
mixture−3
posteriormarkovbayesian
−4
−3
−2
−1
0
1 classifier2
3
word
1

次元 1-2次元 9-10classifiers

図 11: NIPS データを d = 20 次元で学習した場合の, 単語の潜在座標 ϕ(w).
η(カタカナ)

文書
2364
4597
442
4633
1520

eη
1.498
1.471
1.440
1.433
1.422

η(ひらがな)

文書
4580
9961
5238
7420
8375

eη
1.720
1.501
1.494
1.470
1.452

文書 2364:#日公開の映画ではウォンカーウァイ
監督の花様年華かようねんかがカンヌ
国際映画祭最優秀男優賞トニーレオン
高等技術院賞受賞のかくかくたる戦果をあげての香港凱旋がいせんだあまりにも古風な映画でカーウァイ監督ファン
はびっくりするかも日本映画は連弾がはじけるおもしろさ人間の屑もけっこ
う見せるデニーロのくせ者ぶりが楽し
めるミートザペアレンツ小粒でも · · ·文書 4580:
文 小森香折 こもりかおり 絵 広瀬弦
ひろせげん ゆうが押おし入いれをかたづけているとこちらへどうぞという
父とうさんの声こえがきこえてきました押し入れのむこうはうらないの部屋
へやですゆうは押し入れにもぐりこん
で耳みみをあてました女のお客きゃくさんが入はいってきて母かあさんとあいさつしているのがきこえてきますあのうへびがみさまはこれがおすきだとうかがいまして · · ·

図 12: 単語の特徴に基づく効果の学習. 各文書内で,ある特徴を共有する単語の確率がさらに eη 倍される.

7

まとめと今後の展望

本論文では, 単語に潜在空間における座標を与え, その上でのガウス過程を考えることで, 混合モデルに基づく通常のトピックモデルより高精度なテキストモ
デルが得られることを示した. ベイズ学習の際に補助変数を導入することにより, 提案法は潜在層が二値ではなく, 連続なガウス分布に従う RBM ともみな
せ, MCMC 法により容易に最適化することができる.
通常の RBM は無向グラフのため学習の意味が不明
であり, シグモイド関数のみによって強引な正則化が行われるが, 提案法はガウス過程による生成モデルを与え, 事前分布によって自然に正則化されることが特徴といえる.
自然言語は離散であるが, 本研究では確率の比を考えることで, ガウス分布によりモデル化できることを示した. 基本となるアイデアは基底測度の Exponential tilting であり, 今後これを階層モデルに適用していきたい.

ⓒ 2013 Information Processing Society of Japan

単語に潜在座標を与えることで, 単語間の相関を「トピック」という外生変数に頼らず, 直接与えることができる. 埋め込めるものは単語に限らず, 離散
データ一般であり, またその距離の定義も本研究の線形カーネルには留まらない. 空間の文脈適応化も含
め, さらなる可能性を追及していきたい.

参考文献[1] Thomas Hofmann. Probabilistic Latent Semantic
Indexing. SIGIR 1999, pages 50–57, 1999.
[2] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent Dirichlet Allocation. Neural Information Processing Systems 14, 2001.
[3] David M. Blei, Andrew Y. Ng, and Michael I. Jordan. Latent Dirichlet Allocation. Journal of Machine Learning Research, 3:993–1022, 2003.
[4] Peter V. Gehler, Alex D. Holub, and Max Welling.
The Rate Adapting Poisson model for Information
Retrieval and Object Recognition. ICML 2006,
pages 337–344, 2006.
[5] Ruslan Salakhutdinov and Geoﬀrey Hinton. Replicated Softmax: an Undirected Topic Model. NIPS
2009, pages 1607–1614, 2009.
[6] G. E. Hinton. Training Products of Experts by
Minimizing Contrastive Divergence. Neural Computation, 14:1771–1800, 2002.
[7] Nitish Srivastava, Ruslan Salakhutdinov, and Geoﬀrey Hinton. Modeling Documents with a Deep
Boltzmann Machine. UAI 2013, 2013.
[8] Mac’Aurelio Ranzato and Martin Szummer. Semisupervised Learning of Compact Document Representations with Deep Networks. ICML 2008, pages
792–799, 2008.
[9] Peter D. Hoﬀ, Adrian E. Raftery, and Mark S.
Handcock. Latent Space Approaches to Social Network Analysis. Journal of the American Statistical
Association, 97:1090–1098, 2002.
[10] Purnamrita Sarkar and Andrew Moore. Dynamic
Social Network Analysis using Latent Space Models. NIPS 2005, pages 1145–1152, 2005.
[11] Jacob Eisenstein, Brendan O’Connor, Noah A.
Smith, and Eric P. Xing. A Latent Variable Modelfor Geographic Lexical Variation. EMNLP 2010,
pages 1277–1287, 2010.
[12] Carl Edward Rasmussen and Christopher K.

7

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2013-NL-213 No.11
2013/9/13

Williams. Gaussian Processes for Machine Learning. MIT Press, 2006.
[13] Hemant Ishwaran and Lancelot F. James. Computational methods for multiplicative intensity models using weighted gamma processes: proportional
hazards, marked point processes, and panel countdata. JASA, 99(465):175–190, 2004.
[14] J. Møller, A. R Syversveen, and R. P. Waagepetersen. Log Gaussian Cox Processes. Scandinavian Journal of Statistics, 25:451–482, 1998.
[15] C. J. van Rijsbergen and W. Bruce Croft. Document clustering: An evaluation of some experiments with the cranﬁeld 1400 collection. Information Processing and Management, 11(5–7):171–
182, 1975.
http://ir.dcs.gla.ac.uk/resources/
test collections/cran/.
[16] Kenneth W. Church. Empirical Estimates of Adaptation: The chance of Two Noriegas is closer to p/2
than p2 . COLING 2000, pages 173–179, 2000.
[17] Gabriel Doyle and Charles Elkan. Accounting forburstiness in topic models. ICML 2009, pages 281–
288, 2009.
[18] John Paisley, Chong Wang, and David M. Blei.
The Discrete Inﬁnite Logistic Normal Distribution.
Bayesian Analysis, 7(2):235–272, 2012.
[19] Hinrich Schütze. Dimensions of Meaning. Proceedings of Supercomputing’92, pages 787–796, 1992.
[20] W. R. Gilks, S. Richardson, and D. J. Spiegelhalter. Markov Chain Monte Carlo in Practice. Chapman & Hall / CRC, 1996.
[21] Radford M. Neal. Bayesian Learning for Neural
Networks. Number 118 in Lecture Notes in Statistics. Springer-Verlag, 1996.
[22] 神嶌敏弘. 推薦システムのアルゴリズム (1)〜(3). 人
工知能学会誌, 22–23(6–2), 2007–2008.
[23] Robin Lakoﬀ. Language and Woman’s Place. Language in Society, 2(1):45–80, 1973.
[24] 国立国語研究所. 日本語話し言葉コーパス, 2008.
http://www.kokken.go.jp/katsudo/seika/corpus/.
[25] 貞光 九月, 待鳥 裕介, 山本 幹雄. 混合ディリクレ分
布パラメータの階層ベイズモデルを用いたスムージ
ング法. 情報処理学会研究報告 2004-SLP-53, pages
1–6, 2004.
[26] Hanna M. Wallach, Iain Murray, Ruslan Salakhutdinov, and David Mimno. Evaluation Methods for
Topic Models. ICML 2009, pages 1105–1112, 2009.
[27] Tomoharu Iwata, Takeshi Yamada, and Naonori
Ueda. Probabilistic Latent Semantic Visualization:
Topic Model for Visualizing Documents. KDD
2008, pages 363–371, 2008.
[28] Adam Vogel and Dan Jurafsky. He said, she said:
Gender in the ACL anthology. ACL-2012 Special
Workshop on Rediscovering 50 Years of Discoveries, pages 33–41, 2012.
[29] Ruchita Sarawgi, Kailash Gajulapalli, and Yejin
Choi. Gender Attribution: Tracing Stylometric
Evidence Beyond Topic and Genre. CoNLL 2011,
pages 78–86, 2011.

ⓒ 2013 Information Processing Society of Japan

8