Gibbs Sampling による確率的テキスト分割と複数観測への拡張○持橋大地 菊井玄一郎
daichi.mochihashi@atr.jp
ATR 音声言語コミュニケーション研究所

言語処理学会 年次大会 2006 Poster P2–5

NLP-2006 Poster Session P2–5 – p.1/15

概要 (1)
 文脈の変化をとらえる, Particle Filter による推定法−− 意味的変化点の確率的な計算−− 単語ベースの変化点 · · · ノイズに弱い⇓ 任意長のブロックベースの変化点−− ノイズに強い−− ブロック長が長すぎると, テキストの潜在的なダイナミクスに追従できない · · · 最適なブロック長は?
−− 実験結果: 文ベースの予測は最適ではない

NLP-2006 Poster Session P2–5 – p.2/15

概要 (2)
 文脈モデルの意味的変化点は, 前向き推定 (予測モデル)−− 後の文章を見ていない!
 文書全体を見渡した, 変化点確率の計算−− 通常の Forward-Backward は使えない⇓−− Gibbs Sampler による推定• マルコフ連鎖モンテカルロ法 (MCMC) の単純な場合• 前後のブロックが意味的につながるか? を確率的にサンプリング.
 文書内部の意味的変化点を考慮した,文書の周辺化パープレキシティが計算可能

NLP-2006 Poster Session P2–5 – p.3/15

文脈の変化を SMC で追跡 / MSM-DM
 Dirichlet Mixtures (DM) (山本, 貞光 2004/2005) の動的なモデル
Particle #1
Particle #2
Particle #3
Particle #4:
Particle #Nprior

Weight

yt+1
:

t−1 t

−− 文脈の意味的な変化点を, 並列にサンプリングしてシミュレーションする (SMC/Particle Filter)−− 最後の変化点以後の観測値を文脈として用いて, 適切に混合−− ある単語 yt を見たとき, ここで文脈に変化が起こったか? を確率的にとらえる必要がある
NLP-2006 Poster Session P2–5 – p.4/15

文脈の変化を SMC で追跡 / MSM-DM (2) 時刻 t での変化点確率を以下で計算

where(h: 履歴)f (t)p(It = 1|h) =f (t) + g(t)(1)

f (t) = p(It = 1)pDM (yt )α + nt−1 (1) 
αmy=λm ,
α+β+t−1 mv αmv
g(t) = p(It = 0)pDM (yt |h)
α + nt−1 (1)αmy +#(y ∈ h)
= 1−Cm .
α+β+t−1 mv αmv + hyt : 時刻 t で観測した単語

(2)
(3)
(4)
(5)

h : h の長さNLP-2006 Poster Session P2–5 – p.5/15

文脈の動的な追跡による改善
 p(DM)/p(MSM-DM) の予測確率比
10000
1000
pDM/pMSM

1001010.1
0.010.001
0200 400 600 800 1000 1200 1400 1600 1800 2000
Time−− y 軸 < 1 が改善されている場合−− どんな場合に改善されるか?

• 時々, 非常に悪くなる時がある · · · ノイズの影響?

NLP-2006 Poster Session P2–5 – p.6/15

文脈の動的な追跡による改善 (2)
t501
502
503
504
505
506
507
508
509
510:w
熱心
自分自身でもデータを取ったりすごい

p(DM)/p(MSM)
0.49790.7491
0.4616
1.0433
1.1626
0.4962
1.01400.72470.42632.1357

t
1561
1562
1563
1564
1565
1566
1567
1568
1569
1570
:

w
##
鈴木誠
ロイヤルズ

#年
目の初p(DM)/p(MSM)
0.3416
0.33920.59770.05293.9497e+03
1.38644.3377
1.1804
1.1263
1.2883

NLP-2006 Poster Session P2–5 – p.7/15

複数観測への拡張
 各時刻 t で, 長さ l の単語ブロック yt が観測されるとき,

f (t) = p(It = 1)pDM (yt )Γ(αm )=ρ·λm
Γ(α+h)mm(6)v

Γ(αmv +#(v ∈ yt ))Γ(αmv )

g(t) = p(It = 0)pDM (yt |h)Γ(αm +h)= (1−ρ) ·λm
Γ(αm +h+l)m
Γ(αmv +#(v ∈ h)+#(v ∈ yt ))Γ(αmv + #(v ∈ h))v(7)(8)(9) Γ(x + 1) = xΓ(x) より, l = 1 のとき式 (3)(5) と一致
NLP-2006 Poster Session P2–5 – p.8/15

複数観測への拡張: 結果
 ブロック長 l での予測

 Toy Model

パープレキシティ

10.9
0.8

670

0.7

650

0.60.5

PPL

630

0.4

610

0.3

590

0.20.1570

00550
12345102050s

Block Length−− ブロック長が長すぎると, テキ

20406080100−− 観測アルファベット:aaaaaaabaaaaaaacaaaaaaaac\cccccbcaacbcccccabcccacbc\bbbccbbccacbbcbcbcacccbcb\aaccacaccbaaaccabcacaaaaa

ストの潜在的ダイナミクスに追従できない−− ブロック長 l = 1 の場合と−− 文レベルの予測は, 必ずしも
l = 5 の場合最適ではない!

NLP-2006 Poster Session P2–5 – p.9/15

文書全体を見て意味的変化点を推定 / Gibbs Sampler
 テキストw = w1 w2 · · · wN の裏には, 隠れた意味的変化点
I = I1 I2 · · · IN

(たとえば, 10010 · · · 000) があると仮定

 テキスト w の確率 p(w) は, I を周辺化することでp(w) =I∈{0,1}N p(w, I)(10)で計算できる.
 I の可能な組み合わせは 2N 個と, 天文学的な数字(マルコフ性を持たないため, Forward-Backward は使えない)→ Gibbs Sampler により, I を確率的にサンプリング

NLP-2006 Poster Session P2–5 – p.10/15

Gibbs Sampler (2) I = I1 I2 · · · IN に含まれる In を, 順番にアップデート

1. I をランダムに 0/1 で初期化.
2. For t = 1 . . . T ,For n = randperm(N ),(t)Draw In ∼ p(In |I\In , wn , λ, α)−− 変化点系列のサンプル

I(1) , I(2) , . . . , I(T ) が得られる.

 p(In |I\In , wn , λ, α): 単語 wn の場所での変化確率−− 前後が繋がって生成された尤度 [変化点なし]−− 前後が別々に生成された尤度[変化点あり]を比べることで, 計算できる.

NLP-2006 Poster Session P2–5 – p.11/15

Gibbs Sampler (3) 1311 語のテキストに対する Gibbs sampler の結果→ I(100)→ I(99):→ I(2)→ I(1)

Gibbs Sweep

100
80
60
40
200050Time

100150⇓ 変化点確率1P

PPL = 700.03
Marginalized PPL = 644.91
SMC Predictive PPL = 657.43

0.5

0050

Time

100150

NLP-2006 Poster Session P2–5 – p.12/15

周辺化言語モデル
 パープレキシティ

PPL(w) = p(w)

−1/N.

(11)

 ここで, Gibbs sampling により,p(w) =p(w, I) I∈{0,1}NT
1T t=1p(w, I(t) ) ゆえ,−− 周辺化パープレキシティ

PPL(w) =T

1p(w, I(t) )
T t=1

(12)

−1/N.

(13)

• 隠れた意味的区切りを確率的に考慮• 閾値を用いる T EXT T ILING のような方法では, 確率ではないために, このような計算は行えない.
NLP-2006 Poster Session P2–5 – p.13/15

まとめ 任意長 l のブロック毎の文脈推定モデル−− l = 2 ∼ 3 で平均予測確率最大−− l = 文単位 は必ずしも最適な予測とならない• DM がキャッシュモデルであるために, かえって予測が悪化する場合がまだ存在
 文書全体に対して, Gibbs sampler を用いた意味的変化

点推定−− T EXT T ILING と似ているが, 変化点が確率として求まる+ 確率的トピックモデルとの連結−− 変化点のすべての可能性を考慮した, 周辺化
パープレキシティ• cf. 形態素の全ての区切り方を考慮した, 周辺化 MRF(ソフト分かち書き; 工藤 2005)• Semantics ⇔ Syntax.
NLP-2006 Poster Session P2–5 – p.14/15

今後の課題 T EXT T ILING との比較実験
 p(DM)  p(MSM-DM) となる場合の修正−− ベイズキャッシュモデルを超えるモデル化.
 周辺化 MRF との Joint Modeling.

(形態素モデル＋意味モデル)

NLP-2006 Poster Session P2–5 – p.15/15