Particle Filter による文脈の動的ベイズ推定
持橋大地 ∗1,∗2 松本裕治 ∗1{daiti-m,matsu}@is.naist.jp
12

NAIST 情報科学研究科 松本研究室

ATR 音声言語コミュニケーション研究所 音声言語処理研究室
IPSJ 2005-NL-165
2005.1.12 (Wed)

IPSJ SIGNL 2005-NL-165 – p.1/36

Today’s Topic• 適切な文脈長を自動的に選択することのできるベイズ言語

モデル

IPSJ SIGNL 2005-NL-165 – p.2/36

Today’s Topic• 適切な文脈長を自動的に選択することのできるベイズ言語モデル◦ 文脈の変化に対する, 確率的生成モデル

IPSJ SIGNL 2005-NL-165 – p.2/36

Today’s Topic• 適切な文脈長を自動的に選択することのできるベイズ言語モデル◦ 文脈の変化に対する, 確率的生成モデル• 文脈推定問題を, フィルタリング問題と捉える

IPSJ SIGNL 2005-NL-165 – p.2/36

Today’s Topic• 適切な文脈長を自動的に選択することのできるベイズ言語モデル◦ 文脈の変化に対する, 確率的生成モデル• 文脈推定問題を, フィルタリング問題と捉える◦ カルマンフィルタ等では解けない

IPSJ SIGNL 2005-NL-165 – p.2/36

Today’s Topic• 適切な文脈長を自動的に選択することのできるベイズ言語モデル◦ 文脈の変化に対する, 確率的生成モデル• 文脈推定問題を, フィルタリング問題と捉える◦ カルマンフィルタ等では解けない− 自然言語は非ガウシアン・非ベクトル空間

IPSJ SIGNL 2005-NL-165 – p.2/36

Today’s Topic• 適切な文脈長を自動的に選択することのできるベイズ言語モデル◦ 文脈の変化に対する, 確率的生成モデル• 文脈推定問題を, フィルタリング問題と捉える◦ カルマンフィルタ等では解けない− 自然言語は非ガウシアン・非ベクトル空間◦ Particle Filter (非線型ベイジアンフィルタ) を使うことで, オンラインで解くことができる

IPSJ SIGNL 2005-NL-165 – p.2/36

Today’s Topic• 適切な文脈長を自動的に選択することのできるベイズ言語モデル◦ 文脈の変化に対する, 確率的生成モデル• 文脈推定問題を, フィルタリング問題と捉える◦ カルマンフィルタ等では解けない− 自然言語は非ガウシアン・非ベクトル空間◦ Particle Filter (非線型ベイジアンフィルタ) を使うことで, オンラインで解くことができる− 各粒子の持つ, 複数の文脈からの予測の混合

IPSJ SIGNL 2005-NL-165 – p.2/36

Today’s Topic• 適切な文脈長を自動的に選択することのできるベイズ言語モデル◦ 文脈の変化に対する, 確率的生成モデル• 文脈推定問題を, フィルタリング問題と捉える◦ カルマンフィルタ等では解けない− 自然言語は非ガウシアン・非ベクトル空間◦ Particle Filter (非線型ベイジアンフィルタ) を使うことで, オンラインで解くことができる− 各粒子の持つ, 複数の文脈からの予測の混合• テキストの「意味」の変化点をオンラインで検出し,TextTiling の確率化とも捉えられる

IPSJ SIGNL 2005-NL-165 – p.2/36

Background• さまざまな言語的状況に適応するために, n-gram を超える長距離言語モデルが重要◦ 例: 翻訳モデル p(J|E) ∝ p(J)p(E|J) (Brown 1990)• しかし, これまでの研究はほぼすべて, 単一の文脈への適応しか考えてこなかった◦ 話の流れには, サブトピックが存在する◦ 話題の変化?
応用:− 実環境の音声認識, ロボティクス− 文脈を意識した翻訳, かな漢字変換, HMI(Human-Machine Intraction)− テキスト理解 (理学的目標)

IPSJ SIGNL 2005-NL-165 – p.3/36

Context models so far• これまでの長距離言語モデル◦ Cache/trigger models (Old)◦ LSI 言語モデル (Bellegarda 1998)◦ PLSI 言語モデル (Gildea & Hofmann 1999)◦ LDA 言語モデル (三品, 山本 2002)◦ DM 言語モデル (山本 2003)• テキストモデルの応用 (Bag of Words を仮定)
◦ 文脈は, 単語の単純な集合◦ 文脈には, 時間的順序がない− Bag of words「文脈」モデル

IPSJ SIGNL 2005-NL-165 – p.4/36

Context models so far (2)• 文脈として, テキストの先頭から全て用いている◦ or, 1000 語などの単純な閾値 (黒橋, 織 2000)◦ テキストの後ろほど推定値が悪くなる (高橋他 2003)• テキストが長い場合はどうする?
◦ 小説
◦ 論説文
• 実環境への適用? (例: ロボティクス)◦ 複数の文脈の切り替え, 長時間の動作◦ 動的な適応− eg. かな漢字変換⇓
これまでのモデルは, テキストに対して定常情報源を仮定 (!)

IPSJ SIGNL 2005-NL-165 – p.5/36

Example of Real Text
• 毎日新聞テキスト, about 1700 words◦ PLSI で 10 クラス (図示のため) に分解

クラス分布確率p(z|w) 0.8
0.70.6
0.50.40.3
0.2
0.10p(z|w)

17 15 1311 9753z10z2z1

隠れクラス
時間 （ｘ100 words）

1IPSJ SIGNL 2005-NL-165 – p.6/36

Some Exceptions• Bellegarda (1998)◦ LSI (Latent Semantic Indexing) による文脈モデル◦ 過去の履歴を, λ = 0.975 (固定) の比率で忘れると予測が最良. ただし,1. 文書によって最適な λ には違いがあるのでは?
2. 過去を一様に忘れるのでよいか?
− 文脈の変化点からとるべき− 「文脈の変化点」を記述するモデル?
• Beeferman, Berger, Lafferty (1997)◦ 言語の時間的な非定常性に着目◦ テキスト中での語の意味的な関係が, 距離に関して指数的に減少◦ 指数分布としてモデル化・EM で全体のパラメータを推定

IPSJ SIGNL 2005-NL-165 – p.7/36

“Context as a Filtering”• なぜ, 文脈の遷移がモデル化されてこなかったのか?
◦ 長距離文脈の問題は, 統計的には状態を逐次推定するフィルタリング問題と考えられる− カルマンフィルタ (KF), 拡張カルマンフィルタ (EKF)− 制御, 信号処理, ロボティクスでこれまでよく使われている− ベクトル空間, Gaussian Noise を仮定⇓
しかし, 自然言語は非ベクトル空間, かつ非 Gaussian· · · 多項分布, 多項単体 (Multinomial Simplex)• 多項分布のフィルタリング問題◦ 難しい!

IPSJ SIGNL 2005-NL-165 – p.8/36

Filtering, Smoothing, Predicting ..

Smoothing (t<T)
Fixed Length Context
Filtering (t=T)
Predicting (t>T)
Tt• 従来の文脈モデルは, Smoothing をしているものと考えられる• 正確な Filtering のためには, 状態空間モデルが必要◦ 信号処理, 計量経済学 (Econometrics) などでよく使われている

IPSJ SIGNL 2005-NL-165 – p.9/36

Multinomial and Dirichlet distribution• 多項分布 Mult(θ) … 離散シンボルの生起確率◦ θ = (θ1 θ2 . . . θK )

θ1 + θ2 + · · · + θK = 1.

◦ 例: n-gram 確率, 混合モデルの混合比 θ = θ1 θ2 θ3θK

• ディリクレ分布 Dir(α) … 多項分布の分布K
Γ( k αk )  αk −1◦ Dir(θ|α) = θkK
k=1 Γ(αk ) k=1◦ Simplex (単体) 上の確率分布◦ 多項分布を推定するには,642010.80.600.20.40.4
0.60.20.801

多項分布の分布であるディリクレ分布が必要.

IPSJ SIGNL 2005-NL-165 – p.10/36

State Space Models• 状態空間モデル (State space models) = 一般化 HMM

xt ∼ p(xt |xt−1 )yt ∼ p(yt |xt )(状態遷移方程式)(観測方程式)• 状態空間がベクトル空間&正規分布の場合

xt−1

xt

yt−1yt◦ 最小二乗の厳密解が存在 (Kalman Filter) (Kalman 1960)• 状態空間が離散変数のどれか一つである場合◦ 離散隠れマルコフモデル◦ Baum-Welch 法 (転送行列法) が厳密解• それ以外…解が簡単には求められない◦ 言語モデル, 混合モデル…真の状態が一つでなく, 多項分布
◦ データが少ない場合 (ex. 言語の文脈)

IPSJ SIGNL 2005-NL-165 – p.11/36

Multinomial State Space Model• 文脈に, 隠れた多項分布 θt が存在するとする. θt とは,◦ 単語の出現確率 (ユニグラム)◦ 隠れたトピックの混合比− 例. “スポーツ” = 0.2, “政治” = 0.4, . . . etc.
− 「トピック」はコーパスから (VB)-EM で求まる
• このとき, θ に次の状態空間モデルを仮定する(Mean shift model: MSM) θ ∼ Dir(α) with probability ρtθt−1with probability (1 − ρ)yt ∼ Mult(θt )(1)◦ 確率 ρ で隠れた多項分布 θt が変化◦ θt は未知, いつ変化したのかも未知◦ 観測されるのは, 出力 y = (y1 y2 . . . yT ) のみ.
IPSJ SIGNL 2005-NL-165 – p.12/36

Multinomial Mean Shift Model (1)次のようなアルファベット a,b,c の系列が観測されたとする.
aaaaaabaacbaabaaaaabbbbbabababaabababbab\bbbabcaccccbcacaccccccccccccccaccccacccc\ccccccccacaaaacbbbbb• 次のアルファベットは何?
◦ b の可能性が高い (しかし, オーバーフィットの危険)◦ 全部平均してしまう (今までの文脈モデル!)• 最近変化した場所に依存◦ 変化点検出問題 (Change-point problem) として知られた問題◦ もし最近の変化点がわかれば, 推定値は正確に求まる.
(次スライド)IPSJ SIGNL 2005-NL-165 – p.13/36

Multinomial Mean Shift Model (2)θt−1θcααθtytθc()θt−2θt−1θt()yt−1 yt

最近の変化点の位置によって, 推定値は(a) の場合:
p(yt |yc · · · yt−1 ) =(b) の場合:
p(yt |yc · · · yt−1 ) =p(yt |θt )p(θt |α)dθt = αy /

p(yt |θt )p(θt |yc · · · yt−1 )dθtt−1
αy + t=c δ(y)=t−1
α + t=c δ(yt )y αy(2)(3)(4)のように求まる.
IPSJ SIGNL 2005-NL-165 – p.14/36

How to detect a change point?
• ベイズの公式により, 変化確率は計算できる(Chen and Lai, 2003; Yao, 1984)p(change|observed)(5)∝ p(observed|change) p(change)p(observed|change = 1)p(change = 1)
=p(observed|change = 0)p(change = 0)

(6)
(7)

• p(observed|change) は, 今求めたばかり• p(change) = ρ ととりあえずおく [文脈変化の事前確率]◦ 後で動的に推定• p(change|observed) が計算できる!

IPSJ SIGNL 2005-NL-165 – p.15/36

How to detect a change point? (2)• しかし..
◦ 変化点は, 計算上確定されなければならない− 「履歴を 0.214 だけ用いる」ようなことはできない.
◦ ベルヌーイ試行でサンプル … 推定が不安定(一種の弱学習器)↓• Particle Filter (逐次モンテカルロ法) を使う◦ 複数の Particle (粒子, モンテカルロサンプル) による予測を同時に動かす◦ 混合分布として予測◦ 文脈変化の事前確率も動的に推定できる.
− 話題の移り変わりの速さ, 遅さ

IPSJ SIGNL 2005-NL-165 – p.16/36

Particle Filter (1)• a.k.a. 逐次 (時系列) モンテカルロ法◦ (Kitagawa 1987; Doucet, de Freitas, Gordon 2001)• 複数のモンテカルロサンプル (Particle) による重み付き推定◦ 信号処理, ロボティクスなどの分野で最近使われ始めている− 計算資源の急速な増大• 任意の非線型ダイナミクスを追跡できる (!)◦ 非ガウシアンダイナミクス, 外れ値推定◦ 自然言語のような離散データにも, 原理的に適用可能• 複数の変化点履歴を持つ予測を, 同時に動かす

IPSJ SIGNL 2005-NL-165 – p.17/36

Particle Filter (2)i=1,...,N=10 particles~(i) -1{x t-1 ,N }~ ~ (i){x (i)
t-1 ,w t-1 }(i)-1{x t-1 ,N }~ -1
{x (i)t ,N }~ ~ (i){x (i)
t ,w t }

(N )
(1)
(N )
• 時間 t での N 個の particle p(1)···p→重みw···w
tttt• 各 particle は, 異なった変化点履歴を確率的にサンプル• 重み付き期待値: E[f (xt )] 

N(i)

(i)

i=1 wt f (pt (xt ))IPSJ SIGNL 2005-NL-165 – p.18/36

Particle Filter (3)• 粒子 i の重み wt(i) のアップデート (和が 1 になるように正規化)

p(yt |xt )p(xt |xt−1 )(i)(i)
wt ∝ wt−1 ·q(xt |Xt−1 , Yt )(8)

• われわれの問題の場合, 実際には
(i)

(i)

wt ∝ wt−1 · (p(yt |change = 0)p(change = 0) +p(yt |change = 1)p(change = 1))(9)で更新できる [予稿集参照]◦ ただし, 時間がたつと, 重み wt(1) · · · wt(N ) に大きな偏りが生じる (「Particle がすり減る」) → リサンプリング− 重みの大きい粒子の「子供」を作る− 重みの少ない粒子を殺す.
IPSJ SIGNL 2005-NL-165 – p.19/36

Particle Filter (4)priorParticle #1
Particle #2
Particle #3
Particle #4:
Particle #N

Weightyt+1
:

t−1 t

• 各粒子は, 異なった変化点履歴 It(i) をもつ• 複数の粒子のもつ, 様々な文脈長からの予測の重みつき推定(混合分布)• 文脈の変化速度を「正しく」推定したサンプルが生き残る◦ 間違ってサンプルした粒子は, リサンプリングで消える◦ 文脈の変化速度を, 時間に従って正しく推定する

IPSJ SIGNL 2005-NL-165 – p.20/36

Multinomial Particle Filtering
aaaaaabaacbaabaaaaabbbbbabababaabababbab\bbbabcaccccbcacaccccccccccccccaccccacccc\ccccccccacaaaacbbbbb..
1a = blueb = greenc = red

0.9

0.80.7• 水平線 =0.60.5

隠れた正解(多項分布)• # of Particles =50,(α, β) = (1, 10)

0.4

0.3

0.2

0.100102030405060708090100

IPSJ SIGNL 2005-NL-165 – p.21/36

Mean shift model of Natural Language• しかし…
◦ 自然言語では, アルファベット (単語) の数が膨大− 「病院」→「看護婦」では, 隠れた多項分布は不変− 「病院」→「大学」では, 文脈が変化している↓
単語の間の意味的な相関を捉える必要.
• Dirichlet Mixture (DM) (山本他 2003),

Latent Dirichlet Allocation (LDA) (Blei et al. 2001) を用いて,MSM を自然言語に拡張した.

IPSJ SIGNL 2005-NL-165 – p.22/36

MSM-DM (1)• Dirichlet Mixture (DM) (山本他 2003, 2004) @SLP-48,53◦ 文脈推定のための確率的テキストモデル− これまで, 文脈モデルとして性能が最高◦ 単語の意味的な相関を, ハイパーパラメータのレベルで捉える

p(w|λ, α) =p(w|p)p(p|λ, α)dp

(10)

M

Γ( v αmv )  Γ(αmv +n(v))=λm (11)Γ(α+n)
Γ(α)
mvv mvv∈w
m=1(p: ユニグラム確率; λ, α : DM パラメータ)• パラメータ λ, α は EM 法と Newton 法を組み合わせてコーパスから求める◦ http://cl.naist.jp/˜daiti-m/dist/dm/ でパッケージを公開中◦ 56,000 文書, 100 クラスへの分解で 10 時間程度 (Xeon 2.8GHz)IPSJ SIGNL 2005-NL-165 – p.23/36

MSM-DM (2)• 文脈 h = w1 w2 . . . wh のもとでの予測確率:p(y|h, α, λ) ∝M
m=1Cm (h)αmy + n(y)αm + h(12)(n(y) : h 中の y の生起回数)◦ 複数のハイパーパラメータ α1 . . . αM からの予測の混合◦ ハイパーパラメータ自体を適応的に選択− MacKay (1994) の Dirichlet smoothing の拡張• h を最近の変化点からの履歴とし, この予測確率を多項分布

MSM で用いる◦ もともとの MSM は, 事前分布にディリクレ分布を仮定◦ DM では, 混合ディリクレ分布を仮定− 多項分布 MSM の自然な拡張になっている.
IPSJ SIGNL 2005-NL-165 – p.24/36

Graphical image of MSM-DMTime1Particle#1

Particle #2

Particle #Nchangepointsprior

Contextt
WordSimplex

w1

wn0.2

Dirichlet
distribution

Mixture of
Dirichlet
distribution

w2

Expectationof Unigram

0.64

Unigramdistributions
0.02

Weights

Mixture of
Mixture of
Dirichlet distribution

next word

IPSJ SIGNL 2005-NL-165 – p.25/36

MSM-LDA (1)• Latent Dirichlet Allocation (LDA) (Blei et al. 2001, 2003)◦ 確率的トピックのテキストモデル◦ 単語の間の相関を, 隠れた確率的トピックのレベルで捉える◦ PLSI (Hofmann 1999) のベイズ拡張
 N K V
KKΓ( k=1 αk )v
αk −1p(w|α, β) = Kθk(θk βkv )wn dθ
k=1 Γ(αk )n=1 k=1 v=1k=1(13)• パラメータ:◦ α = Dir(λ|α) 隠れトピックへの事前分布パラメータ◦ β = {p(v|m)} (v = 1..V, m = 1..M ) トピック別ユニグラ

ム確率行列◦ http://cl.naist.jp/˜daiti-m/dist/lda/ でパラメータ推定を行う
パッケージを公開している
IPSJ SIGNL 2005-NL-165 – p.26/36

MSM-LDA (2)• 文脈 h = w1 w2 . . . wh の持つ, 潜在的な M 次元のトピック分布 q(λ|h) は, 次の変分ベイズ EM 法で求まる
q(zit = 1|h) ∝ p(wi |t) exp(Ψ(α + nt )) (VB-E step)M α+nt −1(14)q(λ|h)∝(VB-M step)t=1 λth
where nt =q(zit = 1|h)i=1• 文脈 h のもとでの予測確率= 各トピックからの予測の混合:M
p(y|h) =p(y|m)Eq [λm |h]

(15)

m=1

IPSJ SIGNL 2005-NL-165 – p.27/36

MSM-LDA (3)• ユニグラム分布を直接ではなく, M 次元トピックの混合比の変化を追跡する◦ 直感的な解釈が容易◦ トピック空間へ圧縮して追跡するため, やや柔軟性に欠ける− Topic simplex は, Word simplex の subsimplex◦ 一般の混合モデルの混合比追跡に応用可能.
− eg. Gaussian Mixtures
wN

topic 2

w1

Word Simplex
topic M Topic Subsimplex
Dirichlet
Distribution
topic 1

w2
IPSJ SIGNL 2005-NL-165 – p.28/36

Experiments on BNC• British National Corpus (BNC)◦ 約 1 億語のバランスドコーパス◦ そのうち 56,939 文書, 11,032,233 語を LDA/DM のパラメータ推定に使用◦ 仮想的にファイルを分割して文書とした− LDA などのテキストモデルは, 長い文書には無力 (!)− 本研究の手法の, 文書集合への拡張 (Future work)• サンプリングにより, 4 種類の文脈変化速度の評価セットを作成した◦ 1 セット ≡ 100 文書◦ 1 文書はサンプリングされた 100 文からなる (約 2,000 語)− Raw : 連続した 100 文− Slow : R AW より速い変化− Fast : S LOW より速い変化− VeryFast : FAST より速い変化
IPSJ SIGNL 2005-NL-165 – p.29/36

Experiments on BNC (2)TextRaw
Slow
Fast
VFast

MSM-DMDM
MSM-LDA
LDA
870.06 (−6.02%) 925.83 1028.04 1037.42
893.06 (−8.31%) 974.04 1047.08 1060.56
898.34 (−9.10%) 988.26 1044.56 1061.01
960.26 (−7.57%) 1038.89 1065.15 1050.83• MSM-DM の方が直接 Word Simplex 上で動くため, 追跡が柔軟• MSM-LDA も文脈を自動選択する効果はあるが, トピック空間に圧縮するため, やや柔軟性に欠ける

IPSJ SIGNL 2005-NL-165 – p.30/36

Experiments on BNC (3)• Dirichlet Mixture に対する, 各文書のパープレキシティ減少◦ “Raw” データの場合 (= 生テキスト)◦ PPLM SM − PPLDM

Documents

403020100-400 -300 -200 -1000100 200 300

Perplexity reduction• ほとんどの文書で効果がある◦ 75% の文書でパープレキシティ減少 (最大の減少 = −365)
IPSJ SIGNL 2005-NL-165 – p.31/36

Change probabilities of real text
• 本研究は, 単語ごとに文脈変化確率 p(It = 1) を計算できるため, T EXT T ILING (Hearst 1994) の確率化ともとらえられる• 実際のテキストの変化確率:

0.4
0.35
0.3
0.25

200.2
150.150.1

100.05501000

900

800

700

600

500

400

300

200

10000IPSJ SIGNL 2005-NL-165 – p.32/36

Conclusion• 文脈の変化確率を計算し, 適切な文脈長を自動的に選択する

ベイズ長距離言語モデル

IPSJ SIGNL 2005-NL-165 – p.33/36Conclusion• 文脈の変化確率を計算し, 適切な文脈長を自動的に選択する

ベイズ長距離言語モデル◦ 複数の文脈長からの予測の重みつき混合

IPSJ SIGNL 2005-NL-165 – p.33/36

Conclusion• 文脈の変化確率を計算し, 適切な文脈長を自動的に選択する

ベイズ長距離言語モデル◦ 複数の文脈長からの予測の重みつき混合◦ 文脈の変化に対する, 確率的生成モデル

IPSJ SIGNL 2005-NL-165 – p.33/36

Conclusion• 文脈の変化確率を計算し, 適切な文脈長を自動的に選択する

ベイズ長距離言語モデル◦ 複数の文脈長からの予測の重みつき混合◦ 文脈の変化に対する, 確率的生成モデル• Mean shift model の DM, LDA による自然言語への拡張

IPSJ SIGNL 2005-NL-165 – p.33/36

Conclusion• 文脈の変化確率を計算し, 適切な文脈長を自動的に選択する

ベイズ長距離言語モデル◦ 複数の文脈長からの予測の重みつき混合◦ 文脈の変化に対する, 確率的生成モデル• Mean shift model の DM, LDA による自然言語への拡張• 非線型な HMM · · · 非線型モンテカルロフィルタである

Particle Filter を用いた

IPSJ SIGNL 2005-NL-165 – p.33/36

Conclusion• 文脈の変化確率を計算し, 適切な文脈長を自動的に選択する

ベイズ長距離言語モデル◦ 複数の文脈長からの予測の重みつき混合◦ 文脈の変化に対する, 確率的生成モデル• Mean shift model の DM, LDA による自然言語への拡張• 非線型な HMM · · · 非線型モンテカルロフィルタである

Particle Filter を用いた
◦ 文脈の変化速度もオンラインで推定できる

IPSJ SIGNL 2005-NL-165 – p.33/36

Conclusion• 文脈の変化確率を計算し, 適切な文脈長を自動的に選択する

ベイズ長距離言語モデル◦ 複数の文脈長からの予測の重みつき混合◦ 文脈の変化に対する, 確率的生成モデル• Mean shift model の DM, LDA による自然言語への拡張• 非線型な HMM · · · 非線型モンテカルロフィルタである

Particle Filter を用いた
◦ 文脈の変化速度もオンラインで推定できる◦ 補助的に, T EXT T ILING の確率化

IPSJ SIGNL 2005-NL-165 – p.33/36

Conclusion• 文脈の変化確率を計算し, 適切な文脈長を自動的に選択する

ベイズ長距離言語モデル◦ 複数の文脈長からの予測の重みつき混合◦ 文脈の変化に対する, 確率的生成モデル• Mean shift model の DM, LDA による自然言語への拡張• 非線型な HMM · · · 非線型モンテカルロフィルタである

Particle Filter を用いた
◦ 文脈の変化速度もオンラインで推定できる◦ 補助的に, T EXT T ILING の確率化
◦ 現在, 最もパープレキシティの低い長距離言語モデル

IPSJ SIGNL 2005-NL-165 – p.33/36

Future Work
• 本研究は言語モデルのため, Forward モデル (予測モデル)IPSJ SIGNL 2005-NL-165 – p.34/36

Future Work
• 本研究は言語モデルのため, Forward モデル (予測モデル)◦ Forward-Backward への拡張

IPSJ SIGNL 2005-NL-165 – p.34/36

Future Work
• 本研究は言語モデルのため, Forward モデル (予測モデル)◦ Forward-Backward への拡張
− “Forward Filtering, Backward Sampling”− Expectation-Propagation (Minka 2001)?

IPSJ SIGNL 2005-NL-165 – p.34/36

Future Work
• 本研究は言語モデルのため, Forward モデル (予測モデル)◦ Forward-Backward への拡張
− “Forward Filtering, Backward Sampling”− Expectation-Propagation (Minka 2001)?
• 文・パラグラフ単位の変化点

IPSJ SIGNL 2005-NL-165 – p.34/36

Future Work
• 本研究は言語モデルのため, Forward モデル (予測モデル)◦ Forward-Backward への拡張
− “Forward Filtering, Backward Sampling”− Expectation-Propagation (Minka 2001)?
• 文・パラグラフ単位の変化点• 文書集合への拡張

IPSJ SIGNL 2005-NL-165 – p.34/36

Future Work
• 本研究は言語モデルのため, Forward モデル (予測モデル)◦ Forward-Backward への拡張
− “Forward Filtering, Backward Sampling”− Expectation-Propagation (Minka 2001)?
• 文・パラグラフ単位の変化点• 文書集合への拡張◦ “Document” というナイーブな単位の克服

IPSJ SIGNL 2005-NL-165 – p.34/36

Future Work
• 本研究は言語モデルのため, Forward モデル (予測モデル)◦ Forward-Backward への拡張
− “Forward Filtering, Backward Sampling”− Expectation-Propagation (Minka 2001)?
• 文・パラグラフ単位の変化点• 文書集合への拡張◦ “Document” というナイーブな単位の克服◦ HM-DM (Hidden Markov DM)◦ HM-LDA (Hidden Markov LDA)IPSJ SIGNL 2005-NL-165 – p.34/36

Thank you

Thank you very much for listening.

IPSJ SIGNL 2005-NL-165 – p.35/36

Roadmap to MSM-DM• Unigram⇓• Dirichlet Mixture of Unigrams◦ ベイズ推定 (MacKay 1994)◦ ディリクレ分布に従った, 無数の Unigram の混合⇓• Mixture of “Dirichlet Mixture of Unigrams”◦ Dirichlet Mixture (山本他 2003)◦ 複数のディリクレ分布を用いた, 上の Unigram 混合の混合⇓• Mixture of “Mixture of Dirichlet Mixture of Unigrams”◦ MSM-DM (本発表)◦ 複数の文脈長を自動的に用いた, Dirichlet Mixture の混合

IPSJ SIGNL 2005-NL-165 – p.36/36