ガウス過程に基づく連続空間トピックモデル
持橋大地 (統数研), 吉井和佳, 後藤真孝 (産総研)
daichi@ism.ac.jp
IPSJ SIGNL-213
2013-9-13(Fri), 山梨大学
1/33

動機: 高次元多項分布の推定問題

l 統計的自然言語処理のあらゆる局面に現れる– 構文解析 (PCFG)– 文書モデル– HMM、n-gram、‥‥
l 出力が単語＝通常、10,000次元以上(Google 1T n-gram: 13,588,391次元)

2/33

通常の解決: 混合モデル
l LDA (Blei+01), DM (Sjölander96, 山本 03)など
l LDAのモデル:– 各文書について、トピック分布
サンプル
l For i=1.. N,

1. 潜在トピック
2. 単語
1. 単語を生成

ををサンプルを生成.

3/33

LDAのモデル (NMFでも共通)
l 文書に話題の多項分布
l 話題別単語分布(混合モデル)を仮定のMixtureをつくる(0,0,1)(1,0,0)(0,1,0)
4/33

LDAから生成される単語確率分布

l 単語単体の一部しかモデル化できない!!
l 混合しているだけ
だから

5/33

何が問題なのか?
l LDAのGibbsサンプラーの更新式:– 各単語は1つのクラスタにしか属さない à 本当?
l 文書＝人、単語＝商品と考えてみる(協調フィルタリング)
さまざまな属性:
小説／本／若者向け／挿絵あり／ラテン語／‥‥
単なるクラスタリングでは表現できない！

6/33

Restricted Boltzmann Machinesl “Deep Learning”の最も基本的なモデル– 出力層 v と0/1の潜在層 h が重み W で結ばれた
ニューラルネット
Hinton (2002)l 混合モデルではなく、積モデル (Product of Experts)

7/33

Restricted Boltzmann Machines (2)l LDAと異なり、意味を分散表現できる– 国際経済＝“国際” “経済”
– 海外サッカー＝“国際” “サッカー”– 自然言語処理＝ “数学” “言語学” ‥‥l しかし、

8/33

RBMの最適化の難しさ
LDAの性能ReplicatedSoftmax(Salakhutdinov 2009)のNIPSコーパスでの実験結果

ß Betterl RBMには、学習率、ミニバッチサイズ、モーメント、

CD iterations、‥などの多数のメタパラメータl ほとんどの場合、非常に悪い性能しか出ない

9/33

何が問題か?
l RBMは生成モデルがなく、0/1の潜在変数とシグモイド関数で強引に正則化している
l RBM, LDAとも、語彙の情報が非常に重要– RBM: ニューラルネットの重み– LDA: 単語のトピック分布

l 単語に潜在座標を明示的に与えるモデル.

– 実は、統計学では Latent space models (Hoff2002)として知られている (社会ネットワーク解析)
10/33

CSTM: Continuous space topic models

l 単語wはd次元の潜在座標l この上に、ガウス過程を生成をもつ
11/33

Gaussian process とはl ガウス過程:への回帰関数を生成する確率分布– 実際には、無限次元のガウス分布
1次元の場合12/33

Gaussian processとは (2)l 2次元の場合
13/33

Gaussian processとは (2)l 2次元の場合
14/33

Gaussian processとは (3)l 2次元の場合
15/33

CSTM: 最初のモデル
l 単語の平均的な確率(最尤推定)で Modulate–を、ガウス過程

は、8000倍から0.0001倍くらいの値

16/33

Empirical Evidence

Brownコーパス
lCranfield コーパス

最尤推定で計算してプロットを–
l 確率の比はほぼGaussianで分布している!
17/33

Polya分布による拡張
l 言語にはバースト性があるàPolya (DCM)分布– Draw– For n=1..N, Drawlを文書ごとに下で生成– Draw– Set– Draw18/33

CSTMから生成される単語確率分布

l ほぼ全単語Simplexを網羅 (和が1の制約がない)

19/33

学習l ガウス過程から生成した関数fは文書ごとに無限次元

à 学習不可能l DILN (Paisley+ 2012)と同様に、補助変数uを導入– 単語座標の行列をとする–のとき、はuを積分消去して– これは、線形カーネル使ったGPと等価なことを意味するlとして、 とをの学習問題!
20/33

学習 (2)l 通常のMetropolis-Hastingsで、単語と文書の潜在座標を学習– For j = 1 .. J,l for i = randperm(1 .. D),– Draw u’ ~ N(u,σ2) & MH-accept(u’); Update Z
l For w = randperm(1 .. W),– Draw φ’(w) ~ N(φ(w),σ2) & MH-accept(u’); Update Z1..ZN

l z ~ N(0,σ2); α0’ = α0・exp(z)– If MH-accept(α0’) then α0=α0’– 実際は、uとφ(w)の更新をランダムに混合
l 単語間に強い相関があるため、勾配法では局所解
21/33

実験l NIPS, KOS, CSJ話し言葉コーパス、毎日新聞テキスト

で実験– NIPS: 1740文書, V=13649– KOS: 3430文書, V=6906– CSJ : 3302文書, V=14993– 毎日新聞: 10000文書, V=16496 (2000年度からランダムに選択)
l 各文書のランダムな80%の単語でモデルを計算、残りの20%の単語を予測

22/33

実験結果 (予測パープレキシティ)
2000
1000

S

RSM

SDM

LDA

CSTM

毎日新聞

KON

IP
S

0CSTM

RSM

SDM

NIPS
1383.66 1290.74 1638.94
KOS
1632.35 1396.61 1936.25
毎日新聞 466.83 622.69 582.37

LDA
1648.31730.7507.3923/33

RBMの最適化の難しさ
LDAの性能ReplicatedSoftmax(Salakhutdinov 2009)のNIPSコーパスでの実験結果

ß Betterl RBMには、学習率、ミニバッチサイズ、モーメント、

CD iterations、‥などの多数のメタパラメータl ほとんどの場合、非常に悪い性能しか出ない

24/33

CSTMの次元選択
l 毎日新聞データでの性能と潜在次元数
PPL 700
600
500
400
300
200
100023510 15 20 30 40 50– 文書の潜在次元が連続なため、小さい値で高性能– 次元選択を行う簡単な方法はない (Beta FA?)
25/33

毎日新聞テキスト (2000年度)

l 出現に偏りの大きい語ほど原点から遠くに位置する
26/33

拡張: 文書共変量
l ラベルやキーワードなどの文書共変量を利用する

dependent トピックモデルの研究は無数にあるが..

– Supervised topic model (Blei+2007), Labeled LDA(Ramage+ 2009), DHNRM (Chen+ 2012), …
l すべて、共変量をトピック混合比 に反映させるのみl

単語と共変量の関係がとらえられない!
– 書き言葉と話し言葉の違い– 女性の書いた文書と男性の文書の違い– 夜に書いたメールに出やすい単語 (内容とは直交して)
27/33

拡張: 文書共変量 (2)l 文書dの共変量を基本モデルを拡張

とおいて、– MCMCの中で、共変量à単語の重み行列を同時学習
l 実験: CSJ話し言葉コーパス– 女性の講演と男性の講演が存在 (1381/1921)– 上のモデルにより、内容の影響を除去

28/33

単語の「女性度」の上位・下位語上位語

5.189397 会える4.789601 おとなしい
4.734041 混ぜ合わせ
4.653134 いらし
4.575240 敷き
4.490396 っぽく
4.379417 嫁い
4.363100 開ける
4.287748 寄せ
4.258699 出掛ける
4.152641 美しく
4.137955 大ヒット
4.089389 乾い
3.993580 過ごせる
3.985330 治ら
3.976584 こんにち
3.965575 味付け
3.912359 かわいらしい
3.903488 かわいかっ

下位語

0.022626 長尾
0.022603 求まる
0.022252 パープレキシティー
0.021917 与党
0.021602 公明
0.021542 サーチ
0.021403 速報
0.021295 ディフェンダー
0.021107 データー量
0.020954 徳島
0.020551 ビションフリーゼ
0.020187 トルシエ
0.019836 晴郎
0.019825 共振
0.019105 鯉のぼり
0.017528 独占
0.017237 仕様
0.016810 カバレージ0.016356 真紀子

29/33

拡張: 語彙共変量
l 単語は単なるIDではなく、さまざまな素性が存在– 文字種 (ひらがな／カタカナ／漢字..)– 活用形– 起源 (roman/saxon words、漢／呉／唐)– 丁寧語、口語、謙譲語、…
l 通常、文書に共通した特徴があるはず
l 語彙共変量をとおくと、次式でモデルを拡張– 文書ごとのを同時に学習
30/33

拡張: 語彙共変量 (注意)l 両辺の対数をとれば、– これは対数線形モデル (一般化線形モデル)– 「切片」と「説明変数」による回帰からの残差を説明

31/33

拡張: 語彙共変量 (2)l 毎日新聞テキストで、単語の文字種を素性普通のトピックモデル
ではとらえられない情報がモデル化できる!
• 著者の個性のモデリング• 協調フィルタリングへの応用

32/33

まとめと展望l 潜在空間上のガウス過程を考えることで、潜在変数が連続なRBMの生成モデル– MCMCによって容易に最適化できる– 通常のトピックモデルを常に超える性能
l 閉じた「ニューラルネット」ではなく、確率モデルとの連繋– 基底測度の Exponential Tilting
l 課題: 階層モデルへの適用– Normalized Random Measureの話だが、正規化定数を求めることが困難– これをバイパスできるか?
33/33