情報論的学習理論テクニカルレポート 2009
Technical Report on Information-Based Induction Sciences 2009 (IBIS2009)

変分ベイズ法を用いた混合ベルヌーイ分布学習の相図について

Phase Diagram Study on Variational Bayes Learning of BernoulliMixture
梶 大介∗†
Daisuke Kaji

渡辺 澄夫‡
Sumio Watanabe

Abstract: Variational Bayes learning is widely used in statistical models that containhidden variables, for example, normal mixtures, binomial mixtures, and hidden Markovmodels. Although it is reported that variational Bayes learning of mixtute model has aphase transition structure which depends on hyperparameters of mixture ratio, the detailbehavior and relation of hyperparameters concerning the phase transition have not yetknown. In the present paper, we experimentally investigate the phase diagram concerning
the hyperparameters by using the Bernoulli mixture and show the guidance to set thehyperparameters.
Keywords: variational Bayes, phase transition, phase diagram, hyperparameter, Bernoulli
mixture1

まえがき
平均場近似を用いることで，事後分布の計算を EM アルゴリズムと同程度にすることが可能になる変分ベイズ法は，混合分布モデルや隠れマルコフモデルなどの隠ルヌーイ分布の両ハイパーパラメータの依存関係やハイパーパラメータに関する設定指針などが得られる．

2

混合ベルヌーイ分布

れ変数をもつ確率モデルに適用され，音声認識や画像処

混合ベルヌーイ分布は潜在クラス解析に用いられる分理，遺伝子解析など様々な分野でその有効性が示されて布として知られており，2 値データのクラスタリングやいる [3, 8]．変分ベイズ法を用いた指数型分布族の混合レコメンデーションシステムなどの応用に広く用いられ分布の学習ではハイパーパラメータにより，事後分布がている [3, 10]．さらにベルヌーイ分布の事前分布が後確率モデルのすべてのコンポーネントを使って表現する

述するように 1 つのハイパーパラメータであるため，実場合と冗長なコンポーネントを用いず，より少ないコン験・解析が容易である．以上のような背景から本稿では，ポーネントで表現する場合に分かれる 相転移 が起こ

変分ベイズ法の相転移構造の検討に混合ベルヌーイ分布ることが分かっている [1, 12]．

を用いる．ベルヌーイ分布の確率密度関数は以下で与え

本稿では，混合ベルヌーイ分布を用いて混合比とベルられる．

ヌーイ分布のハイパーパラメータを変化させた場合の変分ベイズ法により得られる予測分布の変化を実験的に調べ，その相図を示す．相図から，相転移点と混合比/ベ∗ 東京工業大学大学院総合理工学研究科, 226-8503 神奈川県横浜市緑区長津田 4259, tel. 045-924-5018, e-mail kaji@cs.pi.titech.ac.jp
Tokyo Inistitute of Technology, 4259 Nagatsuda, Midoriku,Yokohama, 226-8503 Japan† コニカミノルタエムジー (株), 192-8505 東京都八王子市石川町
2970, tel. 042-660-8157, e-mail daisuke.kaji@konicaminolta.jp
Konicaminolta Medical & Graphic,INC, 2970 Ishikawa-machi,
Hachioji-shi,Tokyo, 192-8505, Japan‡ 東京工業大学 精密工学研究所, 226-8503 神奈川県横浜市緑区長
津田 4259, e-mail swatanab@cs.pi.titech.ac.jp,
PI Lab., Tokyo Institute of Technology, 4259 Nagatsuta Midoriku, Yokohama, 226-8503, Japan

B(x|µ) =M∏µxi (1 − µ)(1−xi ) ,i=1

ここで x = (x1 , · · · , xM )T はデータ，µ = (µ1 , · · · , µM )T，M はそれぞれパラメータとデータの次元である．このとき，混合ベルヌーイ分布はp(x|π, µ) =K∑

πk B(x|µk ),k=1で定義される．ただし，π は B(x|µk ) の混合比を表し，K はコンポーネント数を表す．次にデータ x に対する隠として表される．このとき，隠れ変数 z およびデータ x

上記の汎関数 F̄ [q(Y |X)] の q1 ，q2 に関する最小化は∑変分法により実行される．最小化問題を Z q1 (Z|X) =∫1, q2 (w|X)dw = 1 の制限のもと解くことで次式をの分布の事前分布として共役事前分布であるディリクレ得る．

れ変数を導入する．隠れ変数 z はデータ x がどの分布から発生したかを示す競合的ベクトル z = (0, · · · , 1, · · · , 0)

分布とベータ分布を用いると Z = (z 1 , · · · , z N ), X =(x1 , · · · , xN ), π および θ の分布はそれぞれp(Z|π) =N ∏K∏

πkznk ,p(X|Z, θ) =(M∏n=1 k=1mp(π) =p(θ) =)znk
xnm
θkm(1 − θkm )(1−xnm )log q2 (w|X) = Eq1 [log P (X, Z, w)] + C2 ,(2)による平均値の計算を含んでいる．したがって，変分ベ,イズ法による学習は (1) および (2) の逐次的繰り返し演算により実行される．

Γ(Ka)Γ(a)KK∏

πka−1 ,3.2

混合ベルヌーイ分布の変分ベイズ法

kM (K ∏∏
Γ(2b)k=1 m=1(1)

ここで C1 , C2 は正規化定数である．上式は互いの分布

n=1 k=1N ∏K∏

log q1 (Z|X) = Eq2 [log P (X, Z, w)] + C1 ,)θb−1 (1 − θkm )b−1
Γ(b)2 km

前節で導いた変分ベイズ法の一般更新式 (1)，(2 を 2)
節の設定のもとで計算することで以下の混合ベルヌーイ分布の変分ベイズ学習アルゴリズムを得る．

で与えられる．(a, b) は事前分布 p(π)，p(θ) のパラメータでハイパーパラメータと呼ばれる.

VB e-step3

変分ベイズ法3.1

変分ベイズ法の一般式の導出

log ρnk

本節では，Y によりパラメータを含むすべての隠れψ(αk ) − ψ=rnk∫F̄ [q(Y )] =q(Y ) log∫KL(q(Y )∥p(Y |X)) =q(Y )dY ,p(X, Y )q(Y )q(Y ) logdY .
p(Y |X))+M∑′)
G(ηkm , ηkmm=1∑K=k=1 ρnk

VB m-step

Nk =F (X) = F̄ [q(Y )] + KL(q(Y )∥p(Y |X)),

び Kullback-Leibler 距離 KL は以下で表される．
∫F (X) = − log p(X, Y )dY = − log p(X),

αkkが成り立つ．

ここで自由エネルギー F , 変分自由エネルギー F̄ およ)ρnk

変数，X ですべての観察可能な変数を表す．このとき，任意の確率分布 q(Y ) と事後分布 p(Y |X) に対して次式(K∑N∑rnk , ak = a + Nk

n=1

ηkm = b +N∑′rnk xnm , ηkm=b+n=1

N∑rnk (1 − xnm )n=1

ここで′G(ηkm , ηkm)′′′= xnm ψ(ηkm )−xnm ψ(ηkm)+ψ(ηkm)−ψ(ηkm + ηkm)とした．ただし，ψ はディガンマ関数と呼ばれ ψ(a) ≡′変分事後分布 q(Y ) は F̄ [q(Y )] の最小化によって与えらΓ (a)dda log Γ(a) = Γ(a) である．上記のアルゴリズムを実行れ，これは q(Y ) と真の事後分布 p(Y |X) の Kullback-することで事後分布

Leibler 距離の最小化と同値である．ここで変分ベイズ法は事後分布の計算困難性を回避するため，パラメータと隠れ変数が条件付独立であることを仮定する．した

q1 (π) =q2 (θ) =がって w をパラメータとするとき，q(Y ) はq(Y |X) = q(Z, w|X) = q1 (Z|X)q2 (w|X)と表せる．

Dir(π|α),K ∏M∏
k=1 m=1が得られる．

′Beta(θkm |ηkm , ηkm)

4

変分ベイズ学習の相転移
変分ベイズ学習の変分自由エネルギーについては，次の定理によりその上界と下界が与えられている．

5

実験

5.1

変分ベイズ学習の力学系

ベルヌーイ分布側の次元が M = 3 である真の分布を以下で与える．

[Theorem1:K.Watanabe,S.Watanabe]))((p∗ (x) = 0.8 · 0.9x1 · 0.11−x1 + 0.2 · 0.1x2 · 0.91−x2真の分布の混合数を K0 ，予測モデルの混合数を K とす

この分布をすべてのサンプルの発生確率とともに示したるとき，変分自由エネルギー F̂n は次の不等式を満たす．のが図 1 である．

λ1 log n + nKn (ŵ) + c1 < F̂n − Sn < λ2 log n + c2
ここで Sn は真の分布の経験エントロピー，Kn (ŵ) は変分ベイズ法が定めるパラメータ ŵ に対する経験カルバッ
ク距離，c1 , c2 は定数である．また，定数 λ1 と λ2 は次で与えられる．ここで M ∗ = M2+1 とおく．

{λ1 ={λ2 =(K − 1)a + M
2 ,M K+K−1,2(a ≤ M ∗ )(a > M ∗ )0 −1(K − K0 )a + M K0 +K,
2

M K+K−1,2(a ≤ M ∗ )(a > M ∗ )図 1: 真の分布 (左) と各サンプルの発生確率．真の分布は白いほど高い確率を表す．また，サンプルについては白が 1，黒が 0 を表す．

ここで a は前述の混合比側のハイパーパラメータである．
ここで真の分布について，上部の棒グラフがその混合比を表し，その下にベルヌーイ分布のパラメータ，すな
上記の定理は変分自由エネルギーの挙動が a = M ∗ を境に大きく変化することを示唆している．具体的には，上述の変分自由エネルギーの下界を実現するためには，

わち各分布における xi (i = 1, 2) の発生頻度をグレースケールで表した．ここで白いほど発生確率が高いものとしている．上述の定理から，この分布は a = 3+1
2 = 2にa ≤ M ∗ では，”事後分布はサンプルが十分に得ることができないような混合分布に対する混合比パラメー相転移点をもつと考えられる．また，真の分布から発生タを 0 に近づける”必要があるのに対して，a > M ∗ でれぞれの確率を表の最右列に示した．

は”冗長なパラメータを均等に使い混合分布を実現する”必要がある．したがって，a = M ∗ 周辺で事後分布の挙動が大きく変化，すなわち相転移が起こることを示していると考えられる [1]．
また，汎化誤差については，混合正規分布の場合，相転移点の前後で大きく変化するが相転移点ではその変動は小さく，安定することが示されている [12]．

するデータは，図 1 右の表にある 8 つのパターンで，そ以下の実験では，真の分布からサンプルを直接発生させるのではなく，総サンプル数 N に対して各サンプルの確率の比でそれぞれのデータが発生すると考える．この場合，サンプルによる揺らぎを考慮する必要がなくなるため，変分ベイズ学習のアルゴリズムはハイパーパラメータをもつ力学系と見なすことができる．なお，以下の実
験では N = 10000 としている．

以下では混合ベルヌーイ分布において，真の分布から発前述の 8 種類のサンプル Si (i = 1, · · · , 8) の第 t 成分

生するサンプルをその平均値で代用することで，変分ベSi (t = 1, 2, 3)，S1 〜S8 のそれぞれの発生確率を P1 〜

イズアルゴリズムを力学系と見なし，混合比および混合P8 として変分ベイズアルゴリズムを書き換えた力学系
は以下にようになる．

分布両方のハイパーパラメータが事後分布に与える影響について調査した．

(t)

VB e-steplog ρSi k = Ψα (k)+ Si Ψ1 (k) + (1 − Si )Ψ′1 (k) + Ψ′2 (k)
(1)

(1)

+ Si Ψ1 (k) + (1 − Si )Ψ′1 (k) + Ψ′2 (k)
(2)

(2)

+ Si Ψ1 (k) + (1 − Si )Ψ′1 (k) + Ψ′2 (k)ρS k= ∑4 i
k=1 ρSi k(3)rSi k(3)VB m-step

Nk =4∑

N Pi rSi k , ak = a + Nki=1

η1k = b + rS1 k N P1 + rS2 k N P2 + rS3 k N P3 + rS4 k N P4

図 2: ハイパーパラメータと混合比の関係．横軸は a，縦η2k = b + rS1 k N P1 + rS2 k N P2 + rS5 k N P5 + rS6 k N P6

軸は b であり，濃淡は z = |π1 − 0.8| + |π2 − 0.2| の値をη3k = b + rS1 k N P1 + rS4 k N P4 + rS5 k N P5 + rS7 k N P7′η1k= b + rS5 k N P5 + rS6 k N P6 + rS7 k N P7 + rS8 k N P8′
η2k= b + rS3 k N P3 + rS4 k N P4 + rS7 k N P7 + rS8 k N P8′
η3k= b + rS2 k N P2 + rS3 k N P3 + rS6 k N P6 + rS8 k N P8

ここで

Ψα (k)= ψ(αk ) − ψ(K∑表す．
この様子をさらに図 2 中の四角で囲った領域で拡大したものが図 3 上段右の図である．この学習結果は大きく以下の 3 つの種類に分類することがができる．

• 領域 A:コンポーネント数を絞り込み，2 つの混合分布で表現する．
．

)
αk• 領域 B:A から C への移行過程．

,k• 領域 C:すべてのコンポーネントを用いて分布を表現する．

Ψ1 (k)′′′= ψ(ηk1 ) − ψ(ηk1) + ψ(ηk1) − ψ(ηk1 + ηk1),

Ψ2 (k)′′′= ψ(ηk2 ) − ψ(ηk2) + ψ(ηk2) − ψ(ηk2 + ηk2),

Ψ′1 (k)′′= ψ(ηk1) − ψ(ηk1 + ηk1),

この分類にしたがって領域を分け，相図を作成したもの

Ψ′2 (k)′′)) − ψ(ηk2 + ηk2= ψ(ηk2が上段左の図である．また，それぞれの領域での学習結果に対する予測分布 (平均パラメータによる分布) を下とした．

5.2段に示した．この図から，冗長なコンポーネントを除き，より少ない混合分布数で学習結果を表現する場合には a

実験結果を小さくし，b を 0.5 より大きくとると良いことがわか

学習モデルの混合分布数を K = 4 として，上記のアる．特に b = 0.5 から b = 1 のときにより冗長な項のルゴリズムにより学習を行った結果が図 2 である．ここ混合比が一番低くなっている．また，a が小さい場合でで横軸，縦軸はそれぞれハイパーパラメータ a, b であり，も b を小さく設定すると，コンポーネント数が増える傾

いずれも 0.001〜10 まで変化させている (log スケール

向にある．これはベルヌーイ分布側の確率が 1 または 0で表示)．また，図のグレースケールは学習結果の混合近づくような事前分布を与えるハイパーパラメータを設

比 (平均パラメータ) を大きい順に並び替えた π1 , · · · , π4定することで，小さなカテゴリを検出しやすくなるために対して z = |π1 − 0.8| + |π2 − 0.2| を算出したものでと考えられる．このようなハイパーパラメータの設定はあり，z が 0 に近い (黒い) ほど冗長な分布を含まず，混アンケートやマーケティング解析などの 少数意見の抽合比も含めて真の分布に近い学習結果と考えることがで出きる．この結果から上述の定理が示唆するように，冗長相図からは，さらにハイパーパラメータを変えた際の予∗に応用することができる [11]．

= 3+1
2 = 2測分布の変化の様子の違いを読み取ることもできる．すの前後で発生しているが，その値は b に依存しているこ

なわち，a > 2.0 の領域で b を大きくした場合，B のよとがわかる．

うな移行過程領域から A の冗長性のない分布の領域にな表現への切り替え（相転移）は a = M

向かう途中で，C の冗長な表現をする領域を b = 0.5 付るか/コンポーネントの絞込みを行うかを調整できるこ

近で通過することになる．一方，a < 2.0 のような領域とがわかった．応用の観点では，これらの相図は混合ベ

では領域 C を跨らずに，直接的に領域 A に向かうこと

ルヌーイ分布をクラスタリングのツールとして用いる場になる．

合，目的とする分類粒度に応じて，どのようなハイパー

図 4 はベルヌーイ分布の次元を M = 2 とした場合の真の分布 (左) と実験結果である．

パラメータを設定すべきかの方針を与える図になっていると考えられる．

6

おわりに変分ベイズ法を用いた混合ベルヌーイ分布の学習におけるハイパーパラメータと学習結果の関係を調べ，M =2, M = 3 の場合の相図を示した．相図は相転移点での挙動に関する多くの情報を与えるだけでなく，応用の立場からもクラスタリングへ利用する際のハイパーパラメータ設定に関する指針を提供する．一方，相転移と変分自由エネルギー，汎化誤差の関係についてはまだ多くのことは分かっておらず，理論的な解明を含め今後の課題である．

図 3: 相転移の領域 (上段:左), ハイパーパラメータと混合比の関係拡大図 (上段:右), 各領域での平均パラメータによる学習結果 (下段)
この場合も相転移点や前述の領域 A,B,C の位置関係は大きくは変わらず，相図としてはほぼ同じものが得られる．

参考文献[1] K. Watanabe and S. Watanabe. Stochastic complexities of general mixture models in Variational Bayesian Approximation. Neural Computation, Vol. 18, No. 5, pp.1007-1065, 2006.
[2] S. Nakajima and S. Watanabe. Variational Bayes
Solution of Linear Neural Networks and its Generalization Performance. Neural Computation, Vol.
19, No. 4, pp. 1112-1153, 2007.
[3] C. M. Bishop. Pattern Recognition and Machine
Learning. Springer, 2006.
[4] S. Watanabe. Algebraic analysis for singular statistical estimation. Proc. of International Journal of AlgorithmicLearningTheory Lecture Notes
on Computer Sciences,1720, pp.39-50, 1999.
[5] S. Watanabe. Algebraic Analysis for Nonidentiﬁable LearningMachines. Neural Computation,
Vol.13, No.4, pp.899-933, 2001

図 4: M = 2 での真の分布 (左) とハイパーパラメータと混合比の関係 (右)これらの結果から設定したハイパーパラメータ a, b を変更することで抽出するクラスタの粒度やコンポーネン
ト使い方，すなわち，すべてのコンポーネントを使用す[6] S. Watanabe. Learning eﬃciency of redundant neural networksin Bayesian estimation. IEEE Transactions on NeuralNetworks , Vol.12, No.6, pp.14751486, 2001.

[7] H. Attias. Inferring parameters and structure oflatent variable models by variational Bayes, InProc. of Uncertainty in Artiﬁcial Intelligence(UAI99),1999.
[8] M. J. Beal. Variational Algorithms for approximate
Bayesian inference. PhD thesis, University CollegeLondon, 2003.
[9] Z. Ghahramani and M. J. Beal. Graphical Models
and Variational Methods. In Advanced Mean Field.
Methods. MIT Press, 2000
[10] P. F. Lazarsfeld and N. W. Henry. Latent structure analysis. Houghton Miﬄin, 1968[11] D. Kaji and S. Watanabe. Optimal Hyperparameters for Generalized Learning and Knowledge Discovery in Variational Bayes. To appear in Proc. ofICONIP, 2009[12] 大山 慎史, 渡辺 澄夫. 変分ベイズ学習におけるハイパーパラメータの汎化誤差への影響について. 信
学技報（NC 研究会）, January 2009.