無限混合ディリクレ文書モデル
持橋大地 菊井玄一郎
ATR 音声言語コミュニケーション研究所 音声言語処理研究室
daichi.mochihashi@atr.jp, genichiro.kikui@atr.jp
概要
文書があるトピックの持つ確率分布から生成されたと仮定し, その確率分布パラメー
タと文書のトピックへの帰属確率を求めるモデルに, ナイーブベイズ法を Polya 分布
を用いてベイズ的に精密にとらえ直した混合ディリクレモデル (DM) があるが, この方法はトピック数を事前に与える必要があるという問題があった.
これに対し, 本論文では可算無限個の混合比にディリクレ過程事前分布を与えること
により, データの複雑さに合わせて混合数を自動推定するディリクレ過程混合モデル
による方法を検討する. モデル選択により混合数を決定する方法と異なり, この方法
は混合数の事後分布をパラメータと同時に推定し, 期待値を取ることで予測を行うことができる. 実験の結果, 必要な混合数の上限を推測することができ, 特に小規模デー
タに対しては性能がさらに上昇することがわかった.
キーワード: DM, ディリクレ過程, 混合モデル, K 平均法, 変分ベイズ法

Infinite Dirichlet Mixtures in Text Modeling
Daichi Mochihashi Genichiro Kikui
ATR Spoken Language Communication Research Laboratories
daichi.mochihashi@atr.jp, genichiro.kikui@atr.jp
Abstract
This paper proposes a Dirichlet process mixture modeling approach to Dirichlet Mixtures(DM). Endowing a prior distribution on an infinite number of mixture components, thisapproach yields an appropriate number of components as well as their parameters at thesame time. Experimental results on amino acid distributions and text corpora confirmed
this effect and showed comparative performance on large datasets and better performanceon small datasets avoiding overfitting.
Keywords: Dirichlet Mixtures, Dirichlet processes, Mixture models, K-Means algorithm,
variational Bayes

1

はじめに

文書をモデル化する方法として, ある文書全体がトピックと呼ばれる一つの確率分布から生まれたと仮
定し, そのトピック確率分布群のパラメータ, および文書の各トピックへの帰属確率を計算する方法がある. この方法はトピックが既知の場合にはナイーブ
ベイズ, 未知の場合には Unigram Mixtures [1] と呼ばれているが, UM の拡張として, 混合 Polya 分布を用いた Dirichlet Mixtures [2] はこの問題をベイズ的にとらえ, 文書モデルや文脈モデルにおいて高い性能を持つことが知られている [3][4].
この方法は単語単体上に, 一つ一つがトピックに対応する混合ディリクレ分布をユニグラムの事前分布として仮定し, 合成することで得られる混合 Polya 分
布から, 観測データをもとに事前分布を推測する方法
であるが, その際のトピック数は事前に与えなければならないという問題があった. トピック数が少ないと単体上の真の分布をうまくモデル化できず, 多すぎると過適応を起こすため, データの複雑さに応じたトピック数の推定は重要な問題であると考えられる.
この問題は, 音声認識等で使われる混合正規分布の混合数推定とも同様の問題である. 従来このために, 混合数を既知としたモデルを計算し, その尤度を比較することでモデル選択を行う方法 (たとえば [5])や, モデルの分割/マージを繰り返すことで最適混合数を見出だす方法 [6][7] などが行われてきたが, 高次
元かつ大規模な文書データの場合には, 予想される混合数は非常に大きく, このような方法でモデル選択を行うことは計算量的に現実的でない. また, モデル選
択の際に使われる尤度についても, 最大の尤度とそれ以外の間に大きな違いがないことが指摘されており[8], 選択を行って一意に決めるのではなく, 最適混合数の事後分布から期待値を取ることで行う予測方法が求められているといえる.
このような混合モデルの構造推定法として, 近年,
ディリクレ過程 (Dirichlet process, DP) に基づくディ
リクレ過程混合モデルが注目されている [9]. この方法はすでに, 文書の中に含まれる単語ごとにトピック

z

α
V∞

p

β
µ

w

γ

L

σ∞

N

図 1: 無限 DM のグラフィカルモデル.
σ

µ

z

p

M

β

w L N

図 2: Smoothed DM のグラフィカルモデル.

である. ここで, fk は x1 . . . xn の中で x ∼ ψk であった回数. すなわち, 新しいデータ xn+1 はこれまでに出現したコンポーネント ψk にその頻度 fk に比例した確率で属するが, 小さい値 α/(n + α) に比
例して新しいコンポーネント ψ に属する可能性も持
つ. このとき, ψ はそれ自体の事前分布 G0 から新しく生成される.
n = 0 のとき, fk は必ず 0 であるから, 式 (1) とな
ることはなく, まず式 (2) から最初のコンポーネントψ1 ∼ G0 が生成され, ψ1 から x1 が生成される. x2
は ψ1 と ψ2 ∼ G0 から生成される可能性をそれぞれ
1/(1 + α) : α/(1 + α) の確率で持ち, 以下式 (2) が選ばれるごとにコンポーネント分布が増えていき, その増大速度はデータ数 n に対して O(log n) であることが知られている [15].
実際には, 上の過程はデータ x = x1 , x2 , . . . , xn+1の並び替えに依存しない. したがって, データ x ∈ xがコンポーネント ψk に属する事後確率は, x が最後になるようにデータを並び替えて,事後分布を求める LDA [10] について適用され, 最適なトピック数を同時に推定できることが示されている [11] が, 本論文ではこの方法を, 文書レベルの混合モデルである DM に対して適用し, その結果を報告(3)する. 図 1 が提案法のグラフィカルモデル, 図 2 が従 p(ψk |x) ∝ p(x|ψk ) p(x ∼ ψk )
fk
来法のグラフィカルモデルである.
ψk (x)(ψk がすでに出現)n+α
無 限 (ディリ ク レ 過 程) 混 合 モ デ ル は す で に,(4)=ψ(x) αMCMC 法を用いて混合正規分布の場合に良い推定(ψ ∼ G0 )n+αを与えることが報告されており [12], 指数分布族の場として求まる.
ここで, fk は x から x を除いた中で合にも一般化されているが, 指数分布族でない Polya
分布の場合には MCMC 法の適用が現実的でないた ψk からデータが生成された回数, ψk (x) はコンポー
め, 近年提案されたディリクレ過程に対する変分近似 ネント分布 ψk における x の確率密度である.
式 (4) はディリクレ過程混合分布に従うデータの法 [13] によって事後分布を推定する.
事後分布を表す式になっているが, 実際に必要な情報
2 章では, ディリクレ過程とディリクレ過程混合モは式(3)からわかるように,コンポーネント番号を表
デルについて簡単に説明し, その Stick-breaking 表
現と有限精度での切り捨てについて述べる. 3 章で す変数 θk (k = 1, 2, · · · , ∞) と対応するコンポーネ
Polya 分布と DM について説明し, 変分ベイズ法を ント分布 ψi の二つに分けて考えることができ, 前者
用いた無限 DM の変分ベイズ EM アルゴリズムを示 のみが自然数上の 1 次元のディリクレ過程に従うとす. 4 章で, DM の動機となったアミノ酸配列データ, 考えてもよい.
および Cranfield コーパスと Reuters-21578 コーパ
2.2 Stick-breaking 表現
スを用いた実験結果を示す. 5 章で結論と, 今後の展
このとき, θk (k = 1, 2, · · · , ∞) の事前分布は, Stick望について述べる.
breaking 表現 Stick(α) とよばれる以下の式に従う
2 ディリクレ過程混合モデル
ことが知られている [16].k−1
Yθk = Vk(1 − Vi )(5)
2.1 Dirichlet process とはDirichlet process [14] とは, 「凝集」を表現する確率過程であり, 混合分布における各コンポーネント
分布の無限個の生成モデルになっている. すなわち,各コンポーネント分布の事前分布1 がディリクレ過程
G ∼ DP(α, G0 ) に従うとき, あるデータ xn+1 がコンポーネント分布 ψk に属する事前確率はこれまでに生成されたデータ x1 , x2 , . . . , xn に依存し,fk(ψk がすでに出現) (1)n+αp(xn+1 ∼ ψk ) = α(ψk = ψ ; ψ ∼ G0 ) (2)n+α1 したがって, ディリクレ過程とは確率分布の確率分布である.

i=1

Vi ∼ Be(1, α) .

(6)

これは幾何分布をソフト化した分布であり2 , θk が選ばれる確率は, (θ1 で止まらない確率)×(θ2 で止まらない確率) × · · · × (θk で止まる確率) となって, 指数的に減少する事前分布を持つ. 3
従って, 充分大きな k 以降の値は急速に小さくなる
ため, 閾値 K に対して VK = 1 とすれば θk = 0 (k >2 幾何分布の場合は, V は定数になる.
i
3 この減衰の度合いは (6) 式より, DP のハイパーパラメータα によって支配される. 後に述べるように, 実際には α について一様で, 減衰のほとんどない事前分布から始め, α の事後分布もデータから推定して用いる.

K) となり, 無限個の θk に対する近似を構成することができる.
このように切り捨てを行った分布を変分事後分布として用いることにより, ディリクレ過程混合モデルに対して変分ベイズ法を適用することができ, 一般に次の変分ベイズ EM アルゴリズムをもつ.

ここで Dir, Ga, Mult はそれぞれディリクレ分布, ガ
ンマ分布, 多項分布である.
このとき, 上記 M ステップにおいて π から求めた
コンポーネントの変分事後分布 λ = λ1 , . . . , λK を

初期化:

とすれば,

• For k = 1 . . . K,
πk1 = 1, πk2 = α .
• α = s1 / s2 .
E step:nφnk ∝ p(xn |ψk ) · exp Ψ(πk1 ) − Ψ(πk1 + πk2 )oPK− i=k+1 [Ψ(πi2 ) − Ψ(πi1 + πi2 )] . (7)M step:(1) πk1 = 1 +
πk2 = α +(2)PN

n=1 φnk ,

PN

n=1

³P

K
i=k+1 φni

(8)

´
.

(9)

w1 = s1 + K ,PK
w2 = s2 − k=1 [Ψ(πk2 ) − Ψ(πk1 + πk2 )] ,α = w1 /w2 .
(3) ψk のパラメータを更新.

(10)
(11)

導出については [13] を参照のこと. 指数分布族の混合モデルについては, 上記 (3) は自然パラメータの期待値を用いた単純な更新に帰着するが [13], Polya
分布は指数分布族でないため, ここでは [4] に従い,Reversing EM 法によりパラメータ更新を行った. これについて次に述べる.

3

λk =

k−1
Y πi2
πk1
πk1 +πk2 i=1 πi1 +πi2

(14)

L = log p(w, µ, σ|α, β, γ)
(15)
"
YX
= log
λk PL(wn |µk , σk ) ·
#
Y
n
k Y
Dir(µk |β) ·Ga(σk |γ) (16)
"
k
YY k
φ
≥ log
(λk PL(wn |µk , σk )/φnk ) nk #·Y
n k Y
Dir(µk |β) ·Ga(σk |γ) (17)
k
XX
£k
¤
=
φnk log λk /φnk +log PL(wn |µk , σk )nkPΓ( v βv ) Y βv −1
+
log Q
µkv
v Γ(βv ) v
k
X
γ γ1
+
log 2 σkγ1 −1 exp(−γ2 σk )(18)
Γ(γ1 )k·XXΓ(σ̂k ) exp(σ̂k − σk )bnk≥
φnk log# ·Y Γ(σ̂k + yn )nkcnkv (σk µkv )ankvv
XX+(βv − 1) log µkv
X

+

v
k
X
{(γ1 − 1) log σk − γ2 σk }

(19)

k

ここで, [4] と同様に

無限混合ディリクレ文書モデル

ankv = [Ψ(σ̂k µ̂kv +ynv )−Ψ(σ̂k µ̂kv )] · σ̂k µ̂kv , (20)ディリクレ過程混合モデルは, 混合コンポーネントを無限個生成する確率モデルであるため, コンポーネン
トの事前分布 G0 による正則化が不可欠であり, 階層
モデルを必要とする.4
図 1 のグラフィカルモデルに従う無限混合ディリ
クレ文書モデルは, 以下のプロセスによってコーパス

bnk = exp [Ψ(wn + σ̂k ) − Ψ(σ̂k )] ,cnkv =(21)

Γ(σ̂k µ̂kv + wnv )(σ̂k µ̂kv )−ankv
Γ(σ̂k µ̂kv )

(22)

である.
(19) 式を整理すると, µ についてはXXp(µk ) ∼ Dir(βv +φnk ankv )(23)

w = w1 , w2 , · · · , wN

(12)

wn = w1 w2 · · · wLn(13) であり, 一方, σ については
P
L(σk ) ∝ − n φnk σk − γ2 σkPP+ n φnk v ankv log σk + (γ1 − 1) log σk(24)であるから,XXX¡¢
p(σk ) ∼ Ga γ1 +φnk ankv , γ2 +φnkを生成する.

1. For k = 1 . . . ∞,(a) Draw µk ∼ Dir(β).
(b) Draw σk ∼ Ga(γ).
2. For n = 1 . . . N ,(a) Draw z ∼ Stick(α).
(b) Draw p ∼ Dir(σz µz ).
(c) Draw wn ∼ Mult(p, Ln ).
4 すなわち, G が一様分布ではモデルが求まらない.
0

n

n

v

v

n

(25)
となる.
事前分布パラメータ β については, LDA[10] と同じ Newton 法を用いた. γ についても, 事後分布をもとに Newton 法を以下のように導出することがで
きる.

3.1

Γ 事前分布の Newton-Raphson 法
1

σk の事後分布である (25) 式を q(σk ) ∼ Ga(pk , qk )とおくと, 変分ベイズ法においては Γ 事前分布のパラメータ γ = (γ1 , γ2 ) は以下の Newton 法により求めることができる.
X
L = hlog p(σ|γ)iq(σ) =hlog p(σk |γ)iq(σk )Probability

0.2

k

0.5

0.1
0
20

0.05
0

0

5

10
15
Component

20

Amino
Acids 10
0 0

5

15
10
Component20(b) α1 . . . α20(a) λ = λ1 . . . λ20 (点線は事前分布)

k

1.5

0.15

1

Probability

À
X¿
γ γ1
=
log 2 σkγ1 −1 exp(−γ2 σk )(26)
Γ(γ1 )q(σk )k¡¢= K γ1 log γ2 − log Γ(γ1 )X pkX+ (γ1 − 1)(Ψ(pk ) − log qk ) − γ2
qk

0.15

0.1

(27)

0
20

0.05

0

k

0.5

0

5

10
15
Component

20

Amino
Acids 10(c) λ = λ1 . . . λ20

0 0

5

15
10
Component20(d) α1 . . . α20

ここで, hlog σk i = Ψ(pk ) − log qk であることを用 図 3: アミノ酸配列データのパラメータ推定値.
いた. 導出については, 付録 A を参照のこと. よって, (a)(b): Infinite model, (c)(d): 通常の混合モデル.
X∂L(Ψ(pk )−log qk ) , 3.2 実装と初期化= K (log γ2 −Ψ(γ1 ))+
∂γ1
k
X
∂L
(28) ディリクレ過程混合モデルの推定法は, 本論文のよ= Kγ1 /γ2 −pk /qk ,(29) うに変分ベイズ法により決定的に最適化を行う場合∂γ2kは, 事前分布の更新を除いて DM と同様, 本質的にソ
∂2L
∂2L
0
2
= −KΨ (γ1 ) ,= −Kγ1 /γ2 , (30) フト K 平均法と同一である. したがって, 特にパラ
∂γ12
∂γ22
メータの自由度のきわめて高い自然言語データにおいては, 注意深い初期化が重要となる. 実装に際して
∂2L
∂2L
=
= K/γ2 であるから,(31)
は, 予備実験の結果から σ̂ を ² × (語彙数) で初期化
∂γ1 ∂γ2∂γ2 ∂γ1
し (² = 0.01), µ̂ を全体のユニグラム分布を中心とし· ¸new · ¸ ·¸−1て, 精度を語彙数 ×10 としたディリクレ分布により
γ1
γ1−KΨ0 (γ1 ) K/γ2
きわめてわずかにずれた値に初期化した.5=−2 ·K/γ2 −Kγ1 /γ2γ2γ2α の初期化は混合数の決定に大きな影響を及ぼす
¢
¢¸
P ¡
· ¡
K log γ2 −Ψ(γ1 ) +K k Ψ(qk )−log pk
ため, α の事前分布 Ga(s1 , s2 ) の選択には注意が必P.
Kγ1 /γ2 −K k pk /qk
要である. [13] では Ga(1, 1) を用いているが, この(32) 分布は α について一様ではなく, 尤度に大きな差のない自然言語の場合には常にきわめて小さい混合数
ゆえに, Newton 更新式はが選ばれてしまう. ここでは DP の閾値 K に対し,
new
γ1 = γ1 + [γ1 x + γ1 − γ2 y] /z ,(33)
Ga(1, 1/K) と初期化して, α に関してほぼ一様な事
γ2new = γ2 + [γ2 x + γ2 Ψ0 (γ1 )(γ1 − γ2 y)] /z . (34) 前分布を用いた.
となる. ただし,
X¡

¢
4 実験

x
=
log
γ
−Ψ(γ
)
+
Ψ(qk )−log pk (35)
2
1


X
k
y=
pk /qk(36) 最初にバイオ分野で提案された DM [2] の動機となったアミノ酸配列データ, および小規模コーパスであるk
z = γ1 Ψ0 (γ1 ) − 1(37) Cranfield コーパスと文書分類のための中規模コーパスである Reuters-21578 を用いて実験を行った.
である.
ただし, この方法でディリクレ分布の精度パラメー
タである σ をベイズ推定したところ, 最尤推定である [4] の方法に比べて小さな値に揃いすぎるという現象がみられ, テストデータに対する精度が悪化した.
このため, 実際には使用せず, [4] と同様に最尤推定を用いた. 完全な変分ベイズ法を用いて µ および σ を推定したとき, σ に今回のような単純な Γ 事前分布のほかにどんな事前分布を考えるべきかは今後の課
題である.

4.1

アミノ酸配列データ

DM の最初の目的となったタンパク質のアミノ酸配列
データとして, Blocks データベース [17] 中の “k80c”
データを用いた.6 このデータは各配列が, 20 個のアミノ酸の特徴量を表す数値からなる 70,989 配列のデータである. このうちランダムに選択した 1,000 配
5 実際にはさらに, ² を全体に加えてスムージングを行った.

6 http://www.cse.ucsc.edu/compbio/dirichlets/ より入
手可能.

0.03
0.02
0.01
0 10 20 30 40 50 60 70 80 90 100
Topic(a) K = 100

0.2

0.05

0

(b) K = 200

DM
449.15465.22

20

30
Topic

40

0.1

0.05

0

50

0 10 20 30 40 50 60 70 80 90 100
Topic(a) K = 50(b) K = 100
0.15

0.1
Probability

Infinite DM
444.00455.78100.12

図 4: Cranfield のトピック事前分布.

Model
K = 100
K = 200

0.1

00 20 40 60 80 100120140160180200
Topic

0.15

0.15

0.08

Probability

0

0.1
0.09
0.08
0.07
0.06
0.05
0.04
0.03
0.02
0.01
0

Probability

Probability

Probability

0.04

Probability

0.05

0.06
0.04

0.1

0.05

0.02
0

0

50

100
Topic

150

0

200

(c) K = 200

表 1: Cranfield のテストセットパープレキシティ.

0

100

200
300
Topic

400

500

(d) K = 500

0.1

0.06

Probability

Perplexity

Probability

0.08
列をテストデータ, 残りの 69,989 配列を訓練データ
0.04
0.06
とした. データの最大次元数は 20 であるため, DP の
0.04
切り捨てレベルは K = 20 と設定した.
0.02
0.02
図 3(a) に各コンポーネントの事前確率 λ を, 図000 100 200 300 400 500 600 700 800
0
200
400
600
800 10003(b) に各コンポーネントの持つディリクレ事前分布
Topic
Topic
パラメータ α1 · · · α20 を示す. 図 3(a) では, 点線が(e) K = 750(f) K = 1000
事前分布を表す. 図 3(c) および図 3(d) の通常の混合 図 5: Reuters-21578 の DP によるトピック事前分布.
モデルに比べて, 必要な混合数 (最大 11 ∼ 12) を推定
420できていることがわかる.
Infinite DM
415
DM
ただし, この時, テストデータのパープレキシティ
410
は 5.39 (DP) および 5.35 (通常) であり, 未知データ
405に対する予測精度の面ではほぼ同程度となっていた.

4.2

Cranfield コーパス

Cranfield コーパス [18] は, PLSI, LDA [10] などの文書モデルの評価に使われている小規模なコーパスであり, 1,400 文書, 218,865 単語からなる. このうちランダムに選択した 1,000 文書を訓練データ, 残り 400
文書をテストデータとして実験を行った. 語彙は頻度 2 以上の 5,177 語である. DP の切り捨てレベルをK = 100 および K = 200 とした時のトピック事前分
布 λ を図 4 に示す. 表 1 に, テストデータに対する
パープレキシティを 5 回の平均を取って示す.
4.3

Reuters-21578 データセット

中 ∼ 大規模コーパスでの実験として, 文書分類のためのデータセット Reuters-21578 [19] を使用した. このデータは [20] でも使われている. ‘BRIEF’ タグの付いた短い記事を除き, ランダムに選択した 500 文書
をテストデータ, 残り 18,543 文書, 2,487,020 語を訓練データとした. 語彙は頻度 5 以上の 14,874 語である. 図 5 に, K = 50 ∼ 1000 のそれぞれに設定した
時のトピック事前分布 λ の推定値を示す. 閾値 K が小さい時は通常の混合モデルと変わらないが, K を充分に大きくすると, このデータに必要なトピック数
は最大 500 ∼ 600 程度であることが見てとれる.
付録 B に, K = 1000 でのトピック毎の単語出現確率を p(w|k)/p(w) の順にソートした特徴語をトピッ
ク 1 ∼ 5 およびトピック 101 ∼ 105 について示した.

400
395
390

50

100

200

500

1000

# of Topics

図 6: Reuters-21578 でのテストセット・パープレキ
シティ.
トピック番号に何ら意味を持たない通常の混合モデ
ルと異なり, 若いトピック番号にこのコーパスにおける中心的な話題が集まり, 古いトピック番号にはより特化したトピックが割り当てられていることがわかる.
図 6 に, テストデータに対するパープレキシティ
を 5 回の平均を取って示す. 通常の DM では混合数
500 をピークとして過適応が起こるが, 無限 DM ではパープレキシティ自体は通常の DM にわずかに及ばないものの (差は最大でも約 8.5), 混合数を増やしても精度が一定していることがわかる.

5

考察および結論

本論文では, 可算無限個の混合数に事前分布を与えることにより混合数をデータから同時に推定するディリクレ過程混合モデルを DM について適用し, 実テ
キストデータに対する結果を示した. 通常の混合モ
デルに比べて最高性能ではわずかに及ばないものの,混合数の大きい場合にも過適応することなく, 安定した性能を見せることがわかった.

しかしながら, この方法によるメリットは性能そのものよりも, 推定されたトピック事前分布を観察することで, データを表現するのに必要なトピック数が見積もれること, 及び, トピックの間に相対的な依存性があり, その番号にトピック全体での位置が反映されることにあると思われる. ある未知文書のトピック分布を求めたとき, それがトピック事前分布の裾に偏っていれば, その文書は「外れ値」であることの判断基準となる. 通常の混合モデルを用いては, このような判断は行えない.
本論文では DM に対する完全な変分ベイズ法 (貞光 2006; 未発表) は 1 つ欠陥が見つかり使用できなかったため, Reversing EM 法を用いたが, その点が修正されれば 3 章で述べた Newton 法は全体の変分
ベイズ法の枠組みの中で自然に導くことができる. 無
限個のコンポーネント分布を扱う事前分布には, 今回用いたディリクレ過程以外にもさまざまな可能性があり, 単語単体全域をモデル化する DM をそのような方向に発展させることは将来の課題であると考えられる.
謝辞: 本研究は独立行政法人 情報通信研究機構の研究委託「大規模コーパスベース音声対話翻訳技術の研究開発」により実施したものである。

参考文献[1] Kamal Nigam, Andrew K. McCallum, Sebastian Thrun, and Tom M. Mitchell. Text
Classification from Labeled and Unlabeled
Documents using EM. Machine Learning,
39(2/3):103–134, 2000.
[2] K. Sjölander, K. Karplus, M.P. Brown,
R. Hughey, R. Krogh, I.S. Mian, and D. Haussler. Dirichlet Mixtures: A Method for Improved Detection of Weak but Significant Protein Sequence Homology. Computing Applications in the Biosciences, 12(4):327–245, 1996.
[3] 山本 幹雄, 貞光 九月, 三品 拓也. 混合ディリ
クレ分布を用いた文脈のモデル化と言語モデルへの応用. 情報処理学会研究報告 2003-SLP-48,
pages 29–34, 2003.
[4] 貞光 九月, 待鳥 裕介, 山本 幹雄. 混合ディリク
レ分布パラメータの階層ベイズモデルを用いた
スムージング法. 情報処理学会研究報告 2004SLP-53, pages 1–6, 2004.
[5] Hagai Attias. A Variational Bayesian Framework for Graphical Models. In NIPS 1999,
1999.
[6] Naonori Ueda and Zoubin Ghahramani.
Bayesian model search for mixture models
based on optimizing variational bounds. Neural Networks, 15:1223–1241, 2002.
[7] Max Welling and Kenichi Kurihara. Bayesian
K-Means as a “Maximization-Expectation” Al-gorithm. In SIAM Conference on Data Mining
SDM2006, 2006.
[8] 大羽成征. 変分法的ベイズ推定による混合主成分
分析, 2001. 奈良先端科学技術大学院大学 情報科学研究科 修士論文, NAIST-IS-MT9951021.
[9] Michael D. Escobar and Mike West. Bayesian
Density Estimation and Inference Using Mixtures. Journal of the American Statistical Association, 90(430):577–588, 1995.
[10] David M. Blei, Andrew Y. Ng, and Michael I.
Jordan. Latent Dirichlet Allocation. Journal of
Machine Learning Research, 3:993–1022, 2003.
[11] Y. W. Teh, M. I. Jordan, M. J. Beal, and D. M.
Blei. Hierarchical Dirichlet Processes. Technical Report 653, Department of Statistics, University of California at Berkeley, 2004.
[12] C. E. Rasmussen. The Infinite Gaussian Mixture Model. In Advances in Neural Information
Processing Systems 12, pages 554–560, 2000.
[13] David Blei and Michael I. Jordan. Variational
inference for Dirichlet process mixtures. Journal of Bayesian Analysis, 1(1):121–144, 2005.
[14] Thomas S. Ferguson. A Bayesian Analysis ofSome Nonparametric Problems. The Annals of
Statistics, 1(2):209–230, 1973.
[15] Charles E. Antoniak. Mixtures of Dirichlet
Processes with Applications to Bayesian Nonparametric Problems. The Annals of Statistics,
2(6):1152–1174, 1974.
[16] Jayaram Sethuraman. A Constructive Definition of Dirichlet Priors. Statistica Sinica,
4:639–650, 1994.
[17] Steven Henikoff and Jorja G. Henikoff. Automated assembly of protein blocks fordatabase searching. Nucletic Acids Research,
19(23):6565–6572, 1991.
[18] C. J. van Rijsbergen and W. Bruce Croft. Document clustering: An evaluation of some experiments with the cranfield 1400 collection.
Information Processing and Management,
11(5–7):171–182, 1975. http://ir.dcs.gla.ac.uk/
resources/test collections/cran/.
[19] David D. Lewis. Reuters-21578 text categorization test collection distribution 1.0,
1997. http://www.daviddlewis.com/resources/
testcollections/reuters21578/.
[20] Kai Yu, Shipeng Yu, and Volker Tresp. Dirichlet Enhanced Latent Semantic Analysis. In AI& Statistics (AISTATS-2005), 2005.

­®
付録 A: log σ の導出
指数分布族

£
¤
p(x|θ) = h(x) exp θ T T (x) − A(θ)

(38)

において,

®
∂A(θ) ­= T (x) p(x|θ)∂θ
であることは, 簡単な計算によってわかる.

(39)

さて, ガンマ分布 Ga(s|a, b) は指数分布族で,ba a−1
Ga(s|a, b) =sexp(−bs)
(40)
Γ(a)
©
ª
= exp a log b − log Γ(a) + (a − 1) log s − bs
(41)
©
ª
T
= exp [a−1 b][log s −s] + a log b − log Γ(a)(42)
ゆえ, A(θ) = log Γ(a) − a log b であるから,­®
∂
log s =A(θ)(43)∂(a−1)= Ψ(a) − log b. ¤(44)

付録 B: Reuters-21578, K = 1000 におけるトピック特徴語
トピック 1 ∼ 5
#
1
2
3
4
5

特徴語 Top 10
fed, repurchase, arrange, indirect, agreements,
customer, temporary, entered, reserve, reserves
vehicles, fry, ford, consolidated, geneva, fn, atlas, fold, gm, europe
nasdaq, nasd, unusual, exception, activity,
explain, stock, delist, exchange, securities
economy, growth, economists, economic, forecast, inflation, exports, rise, gross, gdp
lending, liquidity, banks, borrow, bankers,
bonds, maturity, funds, rates, loans

トピック 101 ∼ 105
#
101
102
103
104
105

特徴語 Top 10
ounces, mine, feasibility, receipt, ounce,
gold, costs, geodome, earnings, reflectednasdaq, composite, showboat, opening, casino,
trading, amex, vestor, stock, gaming
uranium, oxide, sanctions, african, apartheid,
aid, veto, ore, passed, hurt
agricultural, agriculture, crops, irrigation,
grain, india, harvest, yielding, bales, usda
vastagh, potash, nevin, machold, hardie,
somc, nissen, marris, wyttenbach, labrecque(空トピック)