講座
最近のベイズ理論の進展と応用 (III) ノンパラメトリックベイズ
持橋 大地† a)

An Introduction to Nonparametric Bayesian Models
Daichi MOCHIHASHI†a)

1. は じ め に
最近，「ノンパラメトリックベイズ」という統計モデ
ルが (一部で) 流行っていると聞いたことのある方がいるかもしれない．または，「ディリクレ過程」などという言葉を耳にして，??と頭をひねった方もおられるの(a) GMM の混合数.

ではないだろうか．

図1(b) HMM の状態数.

モデル選択問題.

ノンパラメトリックベイズ法とはベイズ統計の新しい統計モデルであり，簡単に言うと「データに応じて導出することが大きな研究課題となっているが，このモデル自体の複雑さも自動的に学習する」ことのできカテゴリの数は一体いくつにすればいいのだろうか．

る統計モデルである．確率論での起源は 1973 年の論カテゴリが少なすぎれば言語の粗い記述しかできず，

文 [1] に遡るが，実際の計算法が確立されて，統計学・多すぎれば極端な場合，一単語一カテゴリとなって，統計的機械学習の分野で有望なモデルとなったのはカテゴリ化が無意味となってしまう．

1990 年代後半から 2000 年代に入ってからである．
「ノこうした問題は画像処理やデータマイニングなどをンパラメトリック」という言葉はパラメータがないこ

含め，多くの分野に共通する問題だと思われる．従来とを意味するのではなく，単一の正規分布のような少こうしたモデル選択には AIC や MDL が使われてき数のパラメータで記述せずに，データにフィットする,たが, ノンパラメトリックベイズ法はこれをパラメー柔軟な無限次元の離散分布を考えることを意味する．

タ数だけに依存するのではなく（注 1）, 各モデルに適しわれわれの扱う問題の中で，モデル自体の複雑さもた, 非常に洗練された形でデータから学習することが学習したい, という場面は非常に多いと思われる．たできる. これは，ディリクレ過程という魔法によってとえば，音声処理では隠れマルコフモデル (Hidden可能となる．

Markov Model, HMM) やガウス混合モデル (Gaus-2. ディリクレ過程とは

sian Mixture Model, GMM) が頻繁に使われるが，HMM の状態数や GMM の混合数はどうやって決めディリクレ過程 (Dirichlet process, DP) は，ノンたらいいのだろうか (図 1)? また, 自然言語処理ではパラメトリックベイズ法の最も基本となるモデルであ「動詞」「助動詞」「人名」「地名」…のような，単語のる. 測度論的な定義は省略するが, これは図 2 のようもつ文法的・意味的カテゴリをテキストから自動的にに，基底測度と呼ばれるある確率分布 G0 を, それに†NTT コミュニケーション科学基礎研究所
NTT Communication Science Laboratoriesa) E-mail: daichi@cslab.kecl.ntt.co.jp（注 1）：AIC や MDL の適用されるモデルの多くは特異モデルであり，この場合は汎化誤差最小という意味で適切でない，という理論的な指摘もある [2].

電子情報通信学会論文誌 X Vol. Jxx–X No. xx pp. 1–6c （社）電子情報通信学会 xxxx°1電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx

0.08
0.06
0.06
0.04

0.04
20.02

=⇒

0.00

20.02
0.00

0-20-200-2-22

基底測度 G0 .

2G ∼ DP(α, G0 ) .

図 2 ディリクレ過程による無限離散分布 G の生成. 見えない場所にも, 指数的に小さい無限個の棒が立っている.

似た無限次元の離散分布によって「すかすか」にした
分布 G を生成する確率過程であり，次のように書かれる．

(b) π と G0 からの G の生成.

図 3 Stick-breaking process による G の生成.

役立つのだろうか? 次式のような，データ x を生成す

G ∼ DP(α, G0 )(1)

α > 0 は G が平均的にどれくらい G0 と似ているかを制御する，学習可能なパラメータである．G0 が 1 次元上の連続分布の場合は G は無限次元の多項分布となり，ディリクレ過程は有限次元の多項分布を生成す
るディリクレ分布 (用語) の無限次元版といってよい．

2. 1 Stick-Breaking Process
具体的には，G は次のような Stick-breaking pro-cess (SBP) とよばれる方法によってサンプルすることができる. 図 3 にその様子を示した.

SBP では, 確率の総和である長さ 1 の棒を左から切っていくことで G を生成する．まず，[0, 1] 上の確率分布であるベータ分布 Be(1, α) からのサンプル

v1 ∼ Be(1, α) で棒を分割し，左側を π1 = v1 とする．
次に, 残った長さ (1−v1 ) の棒を v2 ∼ Be(1, α) でまた分割し，左側を π2 = v2 (1−v1 ) とする．次に, 残った長さ (1− v2 )(1−v1 ) の棒を v3 ∼ Be(1, α) で分割して…のように無限次元の多項分布 π = (π1 , π2 , · · · , π∞ )を作り，高さ πk のデルタ関数 δ(θk ) を G0 からサンプルした場所 θk ∼ G0 に立てていったものを G とする. 式で書くと，次のようになる．

8>>< vk ∼ Be(1, α)Qπk = vk k−1i=1 (1 − vi )>>:θ ∼G ,0k∞
X
G=πk δ(θk ) .

るガウス混合モデルを考えてみよう．

p(x|π, µ) =KX

πk N(x|µk , σ 2 )

(4)

k=1

これは図 1(a) のように，K 個のガウス分布 N(·|µk , σ 2 )を混合比 π で混ぜ合わせたモデルである．簡単のため，ガウス分布の分散は σ 2 ですべて等しいとしよう．
本講座第 I 回の階層ベイズモデルの考え方を用いて，ガウス分布の中心 µk は事前分布

p(µ) = N(µ0 , σ02 )(5)から，混合比 π は K 次元のディリクレ分布 [3]p(π) = Dir(α1 , · · · , αK )KYα −1∝πk k(6)(7)k=1から生成されたとすれば, (4) 式の完全な生成モデルが得られるが, これは混合数が必ず K であるという制約がつきまとう.
ここで少し見方を変えて, 無限個の µ1 , µ2 , . . . とその混合比 π1 , π2 , . . . を同時に生成することを考えてみよう. 前節の議論を踏まえると, これは p(µ) を基底測
度 G0 とみて, ディリクレ過程によって離散化して(k = 1, · · · , ∞) (2)G=∞Xπk δ(µk ) ∼ DP(α, p(µ))

(8)

k=1

とすれば可能なことがわかる (図 4(a)). (3) 式で離散(3)k=1

図 3(a) の π, π 0 , π 00 からわかるように，こうして生成された G は乱数 v1 , v2 , · · · の値によって長い裾を持つことも，一部の要素に確率が集中することもあるが，その期待値は E[G] = G0 に等しい．

2. 2 ディリクレ過程混合モデル
この抽象的な確率過程が，なぜデータのモデル化に2(a) 無限次元多項分布 π の生成.

化した位置 θk が, ここでは正規分布の中心 µk に対応している. こうして混合ガウス分布の中心と混合比が求まれば, 分散は σ 2 で等しいとしたので（注 2）,p(x|α, p(µ)) =∞Xπk N(µk , σ 2 )(9)k=1（注 2）：分散も同時に生成する場合は, µ × σ の直積空間からのディリ
クレ過程によるサンプルを考える.

講座／ 最近のベイズ理論の進展と応用 (III) ノンパラメトリックベイズ

0.10

50.05

0.10
40.05
20.00

=⇒

0.00
-500-200-22-4

54(a) G = (µ, π) ∼ DP(α, p(µ)) .

図4-5(b) 無限ガウス混合モデル.

ディリクレ過程混合モデル (DPM) の構成.

図 5 CRP に基づく x のクラスタの選択.

されることもあることを意味している.
いま, 丸テーブルが無限にある中華料理店に「客」という無限混合モデル, ディリクレ過程混合モデル

x1 · · · xn が順番に入り, テーブルに分かれて着席す(Dirichlet Process Mixtures, DPM) を得ることがでる状況を考えてみよう (図 5). 入った客 x は (10) 式

きる (図 4(b)).

に従い, 各テーブルの人数 nk に比例した確率で座る

このモデルの推定には SBP を直接用いて近似を行テーブルを選び, α に比例した確率で誰もいない新しうことも可能であるが, 紙面の制約から次回の変分ベいテーブルに着席する. 最初は必ずテーブル 1 が選ばイズ法での解説に譲り, ここでは Chinese Restaurant

れるが, しだいに使われるテーブル数 K が増えていく

Process とよばれる, 等価な, より簡単な推定法についことになる. このメタファーが, CRP という名前の語て見ていくことにする.

源になっている.

なお，ここでは DP を混合モデルの事前分布として上で説明した CRP は x をこれから生成するモデル間接的に用いたが，自然言語処理などでは可能性としであり, 事前確率だけを与えていることに注意しよう.て無限に存在する, 単語やカテゴリの確率分布のモデ

逆に, xn だけが与えられてその属するクラスタ zn がルとして直接用いることもできる. 詳しくは, [4] の記

未知のとき, その事後確率はベイズの定理から,事を読まれたい.

2. 3 Chinese Restaurant Process
ディリクレ過程混合モデルでは, 可能性として無限個p(zn = k|xn , z1 · · · zn−1 )∝ p(xn |zn ) p(zn |z1 · · · zn−1 )(11)ある混合要素 (例えば, ガウス分布) のどれかから一つとなり, この式の第 2 項は (10) 式の事前確率そのも一つのデータが生成され, データ全体がクラスタリンのである. 第 1 項はクラスタ k から xn が生成されるグされる. 隠れた分布 G を積分消去すると, このクラ尤度で, これは k に属する他のデータで決まり, 結局スタリングは, 次の Chinese Restaurant Process(11) 式は,(CRP) と呼ばれる方法によって順番に生成されたと考えても等価なことが知られている. （注 3）

CRP では, データ xn の属するクラスタ zn の事前確率は, これまでのデータ x1 · · · xn−1 に依存し,p(zn = k|z1n−1 ) =8><nk(k = 1, · · · , K)
α+n−1(10)α>:(k = K + 1)
α+n−1p(zn = k|x1 · · · xn−1 , z1 · · · zn−1 ) ∝8nk>(k = 1 · · · K)
< p(xn |k) ·α+n−1α>: p(xn |knew ) ·(k = K +1)
α+n−1(12)で求めることができる.

2. 4 CRP に基づく DPM の学習(12) 式を用いると, データ X = x1 · · · xN が与えで与えられる. ここで, nk は z1n−1 = z1 · · · zn−1 のられたとき, その属するクラスタ番号 Z = z1 · · · zN

中で k が現れた回数, K は現在までのクラスタ数を(zn ∈ 1 · · · N ) をギブスサンプリングによって求める表す. また, この確率は x1 · · · xn−1 の順番によらないことができる. 本講座第 I 回でも登場した MCMC 法(交換可能性). (10) 式は, どのクラスタが選ばれるかの最も簡単な場合であるギブスサンプリングとは, 隠の事前確率はれ変数 zn を適当な初期値から始めて, それ以外を条•

そのクラスタの「人気度」 nk に比例し, かつ•α に比例する確率で新しいクラスタが生成（注 3）：証明には, ディリクレ過程の測度論的な定義と, ディリクレ分布の簡単な性質を用いる [5].

件とした条件つき確率zn ∼ p(zn |X, Z−n )(13)からサンプリングすることをランダムな順番ですべての n について繰り返せば, 真の分布 p(Z|X) に従うサ3

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx
1: while not converged do

109876K
5432
1for n in randperm (1, · · · , N ) do
3:
xn をクラスタ zn から削除してパラメータを更新
4:zn ∼ p(zn |X, Z−i ) をサンプル
5:
xn をクラスタ zn に追加してパラメータを更新
6:
end for
7: end while
8: z1 , · · · , zN を出力
2:

図 6 ディリクレ過程混合モデルのギブスサンプリング.
randperm (X) は X のランダムな並び換えを表す.

66442200−2−2−4−4−6−4−20246ンフォマティクス, データマイニングなど様々な分野
トデータに対する自然言語処理での発展が目覚まし

42200−2−2−4−4−6−6−6−4−2024(c) 繰り返し数=100

図7−4−20246い. ここではその中から, 音声など他の分野にも共通(b) 繰り返し数=1066混合数 K の学習過程での変化.に適用されているが [8], その離散性から, 特にテキス−64

図8

ノンパラメトリックベイズ法は画像処理, バイオイ(a) データ
620 40 60 80 100 120 140 160 180 200Gibbs iteration

3. ノンパラメトリックベイズ法の応用−6−60する基礎的なモデルとして, 無限隠れマルコフモデル(Inﬁnite HMM, 以下 IHMM) を考えてみよう.
HMM は図 9 に表したように, 観測値 y1 y2 · · · yT の裏に隠れた状態系列 s1 s2 · · · sT があり, そこから観測値が生成されたと考えるモデルであるが, 隠れ状態の−6−4−20246(d) 繰り返し数=200

ディリクレ過程混合モデルの MCMC による学習.

総数は事前に決めておく必要があった. IHMM は, この隠れ状態の総数も自動的に決めることができる (画期的な) モデルである [9].
まず, 通常の HMM は本質的に, 混合モデルの時系ンプル Z が得られる, という方法のことである [6]. こ列的な拡張であることに注意しよう. 時刻 t までのこで, Z−n は zn を除いた Z を表している.

観測値 y1 · · · yt と状態 s1 · · · st が与えられたとき,今の場合, これは「今の値 zn をいったん忘れて」新

次の観測値 yt+1 の確率は, st+1 を隠れ状態としたP

st+1 p(yt+1 |st+1 )p(st+1 |st ) のようなしい zn を (11) 式, すなわち (12) 式からサンプリンp(yt+1 |st ) =グしていけば, 真の zn が求まることを意味する. こ混合モデルであり, HMM ではこれが t = 1 · · · T までれは, (10) 式は X の順番によらないので, xn をいつ時間的に連鎖している.

でも最後のデータとみなすことができる (交換可能性)からである.

IHMM では, この状態遷移確率分布 p(st+1 |st ) がディリクレ過程 DP(α, G0 ) に従っていると考える (図アルゴリズムは図 6 のようになる. ハイパーパラ10). ただし, 混合モデル間で状態を共有する必要がメータ α も学習することができるが, やや複雑となるあるため, 基底測度 G0 自体がもう一つのディリクレため割愛した. 図 7 に, 実際のデータに基づく DPM

過程からのサンプル G0 ∼ DP(γ, H) である, とする.の学習過程を示した.（注 4） (a) のようなデータに対し,直感的には, 「可能な遷移先とその事前確率を各状態MCMC 法によるサンプリングを繰り返すと, (b)–(c)間で共有する」ことだといってよい. ディリクレ過程のような中間状態を経て, (d) のようなクラスタリンが階層化されているため, これは階層ディリクレ過程グに収束する. この場合は最終的に K = 3 となったが, 学習途中でクラスタ数 K が変化していく様子を図8 に示す.

（注 4）：この図の作成には, ディリクレ過程混合モデルの MATLAB
ツールキット [7] を用いた. これは自由にダウンロードでき, 今回のような例を自分で試すことができる.

4図9

隠れマルコフモデルの構造. ○は観測値を表す.

講座／ 最近のベイズ理論の進展と応用 (III) ノンパラメトリックベイズ
10987K 65432(HDP) と呼ばれている [10].
HDP を用いた IHMM では, 同様に MCMC 法によって隠れ状態を推定する. 図 9 からわかるように,隠れ状態 st の確率は, st を含む 3 つの確率の積0 100 200 300 400 500 600 700 800 900 1000
Gibbs iterationp(st = k|yt )∝ p(yt |st = k) · p(st = k|st−1 ) · p(st+1 |st = k, st−1 )および K + 1 の場合について確率を計算し, st の値と状態数 K を更新していく. 学習には階層化された

Log Likelihoodに比例するから, (12) と同様にこれから k = 1 · · · K(a) 隠れ状態数 K の学習

CRP を用いるが, 手順がやや複雑になるため, 詳細に-120000-122000-124000-126000-128000-130000-132000-134000-136000
0 100 200 300 400 500 600 700 800 9001000
Gibbs iteration

ついては [10] を参照されたい.

“Alice” データの学習

図 11 に, “Alice in Wonder-land ” の最初の 20,000 語を使って学習した IHMM の状態数 K と, データの対数尤度の変化を示す. 対数尤
度がほぼ一定となったところで, 状態数も K = 7 ∼ 8と学習されて安定していることがわかる. 表 1 に, 各状態に割り当てられた単語とその回数の上位を示す.
かなり小さいデータだが, ほぼ状態 1 に主語, 状態 2に修飾語, 状態 3 に動詞・助動詞, 状態 4 に前置詞, 状
態 5 に名詞, 状態 6 に形容詞, という概念が学習されていることがわかる.
また, 上の状態の順番は任意ではなく, ディリクレ過程に従って若い順番ほど出やすい, 重要な状態であることに注意されたい. 隠れ状態数の学習も含め, こうした性質は通常の HMM の EM アルゴリズムによる最尤推定では得られず, 局所解に陥る心配もない.

4. まとめと今後の展望
本稿では, ノンパラメトリックベイズ法の基礎と実際の例について紹介した. 無限にモデルを伸縮できる,柔軟な事前分布を用いることで, データの確率を最大化するだけで適切なモデルが完全に自動的に学習される. ノンパラメトリックベイズ法はディリクレ過程に限られるものではなく, ベータ過程や Pitman-Yor 過程, およびその階層化のようなより高度なモデル [8] も(b) データの対数尤度の変化

図 11 ”Alice” データの IHMM による学習過程.
1
she
toi
it
you
alice
andthey
there
hethatwho
whati’ll
this

432
387
324
265
218
166
147
76
61
55
39
37
27
26
23

2
thea
her
very
its
mynohis
this
EOS
an
your
as
that
at

4
EOS
andof
in
said
toas
that
for
at
but
with
on
so
when

845
466
343
262
174
163
163
125
123
122
121
114
83
77
63

5
way
mouse
thing
queen
head
cat
hatterduchess
well
time
tone
rabbitdoor
march
dormouse

3
was
had
said
EOS
beiswent
were
see
could
know
thoughtherself
began
get

1026
473
116
84
50
46444439393736312727454139373635343431312828282626

6
littlegreat
very
longlarge
rightsame
good
white
otherpoor
ﬁrst
best
own
low

277
1261138777735856525250
4442403992
2322222220171711111010988

実際に用いられている. 今後は, 木やグラフといった,
表 1 IHMM の各状態に割り当てられた単語とその回数.
EOS は文末を示す特殊記号である.

複雑な組み合わせ論的対象を無限に生成する確率過程が理論的に重要になると考えられる.
また, 大量のデータを用いた実際の学習には高速な近似解法が不可欠であり, 次回の変分ベイズ (VB) 法はそのための有用な方法である. 一方ベイズ学習の並
図 10 HDP による隠れ状態と状態遷移確率の生成.

列化についても, 最近研究が進められている.
5電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx

この分野は急速に発展しているため, 現在のところまとまった教科書は存在していないが, 本稿が, 興味を持たれた方が [8] のようなサイトの参考文献でさらに学ばれる際のガイドとなればと願っている.
文
[1]

献

T.S. Ferguson, “A Bayesian Analysis of Some Nonparametric Problems,” Annals of Statistics, vol.1,no.2, pp.209–230, 1973.

渡 辺 澄 夫 ，“Model Selection in Singular Learning
Machines”.
http://watanabe-www.pi.titech.ac.jp/
˜swatanab/model-select.html.
[3] C.M. ビショップ, 元田, 栗田, 樋口, 松本, 村田 (監訳)，パ[2]

ターン認識と機械学習 (上)(下) ベイズ理論による統計的予測，Springer，2007,2008．
[4] 持橋大地，“生きた言葉をモデル化する―自然言語処理と数学の接点，” 『数学セミナー』2007 年 11 月号，pp.37–43，2007．
[5] D. Blackwell and J.B. MacQueen, “Ferguson Distributions via Pólya Urn Schemes,” Annals of Statistics,
vol.1, no.2, pp.353–355, 1973.
[6]

W.R. Gilks, S. Richardson, and D.J. Spiegelhalter,
Markov Chain Monte Carlo in Practice, Chapman &Hall / CRC, 1996.

[7]

Y.W. Teh, “Bayesian Nonparametrics:

DP Mix-tures,” 2009. http://www.gatsby.ucl.ac.uk/˜ywteh/teaching/npbayes/.
[8]

NPBayes 2008. http://npbayes.wikidot.com/.

[9]

M.J. Beal, Z. Ghahramani, and C.E. Rasmussen,“The Inﬁnite Hidden Markov Model,” NIPS 2001.
http://books.nips.cc/papers/ﬁles/nips14/AA01.pdf.

[10]

Y.W. Teh, M.I. Jordan, M.J. Beal, and D.M. Blei,“Hierarchical Dirichlet Processes,” JASA, vol.101,no.476, pp.1566–1581, 2006.

（平成 xx 年 xx 月 xx 日受付）

持橋 大地
1998 東大・教養・基礎二卒. 2005 奈良先端大・情報・博士
後期課程修了. ATR 音声言語コミュニケーション研究所を経て, 2007 より NTT コミュニケーション科学基礎研究所リサー
チアソシエイト. 自然言語処理の研究に従事. 博士 (理学).

6