情報論的学習理論テクニカルレポート 2009
Technical Report on Information-Based Induction Sciences 2009 (IBIS2009)

変分ベイズ法における確定的アニーリングとハイパーパラメータの部分最適化について

On Deterministic Annealing and Partial Optimization ofHyperparameters for Variational Bayes Algorithm
永田賢二∗
Kenji Nagata

片平健太郎†
Kentaro Katahira

岡ノ谷一夫‡
Kazuo Okanoya

岡田真人§
Masato Okada

Abstract: Variational Bayes (VB) algorithm is widely used as an approximation methodof Bayesian learning. In a recent study, the deterministic annealing VB algorithm has been
proposed to overcome the local optimal problem. In this study, we propose a new deterministic annealing method and a partial optimization method of hyperparameter for VB
algorithm by introducing two types of temperature parameters to variational free energy.
We also apply the proposed methods to Gaussian mixture model to show the eﬀectivenessof the proposed methods.
Keywords: Variational Bayes algorithm, Determinisitc Annealing, Optimization of Hyperparameter, Gaussian Mixture Model1

まえがき
混合正規分布や隠れマルコフモデルなどの，階層構造をもつ確率モデルにおいて，ベイズ学習が，最尤推定
法や事後確率最大化法よりも，汎化性能に優れることが知られている [11]．ベイズ学習を計算する際に，複雑な多重積分を計算することが必要になり，この操作の困難さから，様々な近似手法が提案されている．その中でも，変分ベイズ (VB) 法は，Expectation Maximization(EM) アルゴリズムと同様の反復計算により事後分布についての積分計算ができ，その計算量の少なさから，広く用いられている [1]．また，理論的にも，確率的複雑∗ 東京大学

大学院新領域創成科学研究科, 〒 277-8561 千葉県柏市柏の葉 5-1-5, e-mail nagata@mns.k.u-tokyo.ac.jp,
Graduate School of Frontier Sciences, The University of Tokyo,
5-1-5, Kashiwanoha, Kashiwa, Chiba, 277-8561, Japan† 科学技術振興機構 ERATO 岡ノ谷情動情報プロジェクト，東京大学 大学院新領域創成科学研究科，e-mail katahira@mns.k.utokyo.ac.jp
Japan Science Technology Agency, ERATO, Okanoya Emotional
Information Project, Graduate School of Frontier Sciences, The
University of Tokyo.
‡ 科学技術振興機構 ERATO 岡ノ谷情動情報プロジェクト，理化学研究所 脳科学総合研究センター，e-mail okanoya@brain.riken.jp
Japan Science Technology Agency, ERATO, Okanoya Emotional
Information Project, RIKEN Brain Science Institute.
§ 東京大学 大学院新領域創成科学研究科，理化学研究所 脳科学
総合研究センター, e-mail okada@k.u-tokyo.ac.jp
Graduate School of Frontier Sciences, The University of Tokyo,
RIKEN Brain Science Institute.

さの漸近挙動を解析することで，VB 法がベイズ学習の良い近似を与えることが明らかにされている [10]．
しかしながら，VB 法のアルゴリズムは勾配型である
ため，得られた解が局所最適解にトラップされてしまうといった問題がある．この問題に対して，変分ベイズ法
における確定的アニーリングや量子アニーリングが提案され，その有効性が確認されている [5][8]．これらの手法では，最適化の対象となる事後分布に温度パラメータを導入し，温度を用いてアニーリングスケジュールを制御することで局所最適解の問題に対処している．
一方で，事後分布への温度パラメータの導入について
は，変分ベイズ法に限らず，様々な応用で用いられている．事後分布は尤度関数と事前分布の積により構成されているため，部分的に温度パラメータを導入するアプ
ローチが提案されている．その一例として，Hara らは，

LDPC 符号における復号のダイナミクスを観測する際に，事前確率に温度パラメータを導入することで交換モ
ンテカルロ法を実装している [3]．また，ベイズ学習において周辺尤度を計算する際に，事後分布の尤度関数の部分にのみ温度パラメータを導入する方法が提案されている [6]．
そこで本研究では，変分ベイズ法において，尤度関数と事前分布の２つの項にそれぞれ温度パラメータを導入

し，その枠組みから，事前分布のハイパーパラメータの部分最適化を組み合わせた確定的アニーリング法を提案する．また，それらの有効性を混合正規分布モデルに適用することで，実験的に検証する．

2

D(q||p) ≥ 0 と，ベイズ事後分布の式 (1) を同時事後分
布 p(Y n , θ|X n ) に拡張したものを考えることで，以下の不等式が導かれる．
∑∫− log Z(X n ) ≤q(Y n , θ) log q(Y n , θ)dθ
Yn

ベイズ学習

−

観測されたデータ集合を X n = {x1 , · · · , xn } とし，そnズ学習では，データ集合 X が与えられたもとでのパラメータ θ の分布をあらわすベイズ事後分布を次式により導入する．

p(θ|X n ) =1p(X n |θ)ϕ(θ)
Z(X n )

(1)

ここで，p(X n |θ) は尤度関数，ϕ(θ) はモデルパラメータの事前分布であり，Z(X n ) は規格化定数である．このq(Y n , θ) log p(X n , Y n , θ)dθYn

≡ F (q)

れらを生成している確率分布を推定するために，モデル
パラメータ θ をもつ確率モデル p(x|θ) を考える．ベイ

∑∫

ここで，

(5)

∑

Y n は潜在変数 Ynの全ての出方についての和を表す．上の不等式において，左辺は変分事後分布

q(Y n , θ) には依存しないため，右辺の変分自由エネル
ギー F (q) を Q(Y n ) と r(θ) について最小化することが，最良の変分事後分布を求めることと等価になる．Q(Y n )についての最小化を VB-E ステップ，r(θ) についての最小化を VB-M ステップと呼ぶ．それぞれのステップにおける更新式は，以下の式 (6)，(7) で表される．

ベイズ事後分布を用いて，学習モデル p(x|θ) を期待値

Q(Y n )

計算することにより予測分布を構成し，データを生成している真の確率分布を推定する．すなわち，∫np(x|X ) =p(x|θ)p(θ|X n )dθ

r(θ)
(2)

近年，ベイズ学習において，学習の性質を解明するための理論的研究が精力的に行われ，その結果，ベイズ学
習は，最尤推定法や MAP 推定法に比べ，汎化能力に優れることが明らかにされている [11]．しかしながら，一般にベイズ事後分布が複雑になってしまい，予測分布の期待値計算が容易に実行できないといった問題があるため，様々なベイズ学習の近似手法が考案されている．その一つが変分ベイズ法であり，少ない計算量で実行できることで広く応用されている．

3

Q(Y n ) での期待値を表す．これらの更新則は，別の分布での期待値計算を含んでいるために，アルゴリズムとして反復計算を必要とする．その操作は EM アルゴリズ
ムのそれと類似しており，EM アルゴリズムと同様に少ない演算量で実行可能であるといった利点が知られている．しかしながら，勾配型のアルゴリズムであるゆえ，局所解の問題もある．この問題に対して，変分ベイズ法
における確定的アニーリングが考案されている．確定的
アニーリングでは，ベイズ事後分布に対して下記のようている．

{y1 , · · · , yn } を導入し，それに合わせて確率モデルを
p(x, y|θ) とする．変分ベイズ法では，潜在変数とパラメータの同時事後分布 p(Y n , θ|X n ) を以下の変分事後分n

布 q(Y , θ) で近似することを考える．

βp(Y n , θ|X n , β) ∝4{p(X n , Y n |θ)ϕ(θ)}

(8)

提案手法
前節で説明したように，従来のアニーリングでは，温度パラメータを事後分布全体に作用させることにより(3)近似の際の評価関数として，変分事後分布 q(Y n , θ) とn

事後分布 p(Y , θ|X ) との間のカルバック情報量∑∫
q(Y n , θ)dθq(Y n , θ) log
D(q||p) =p(Y n , θ|X n )nn

ここで，〈·〉r(θ) ，〈·〉Q(Y n ) はそれぞれ，確率分布 r(θ)，

観測データ集合 X n に対応して，潜在変数の集合 Y n =n(6)∝ ϕ(θ) exp 〈log p(X , Y |θ)〉Q(Y n ) (7)nに逆温度パラメータ β を導入することにより構成され変分ベイズ法q(Y n , θ) = Q(Y n )r(θ)∝ exp 〈log p(X n , Y n |θ)〉r(θ)

提案されていた．本研究では，尤度関数と事前分布それ
ぞれに温度パラメータを導入する枠組みを提案する．また，その枠組みから，変分ベイズ法におけるハイパーパ
ラメータの部分最適化を組み込んだ改良型の確定的ア
ニーリング法を提案する．

(4)

Yを考え，これを最小にする変分事後分布を見つけることが目的となる．式 (4) は，カルバック情報量の性質

まずはじめに，ベイズ事後分布に２つの逆温度パラ
メータ β1 ，β2 を導入した事後分布を考える．

p(Y n , θ|X n , β1 , β2 )∝ p(X n , Y n |θ)β1 ϕ(θ)β2 (9)この事後分布に対して，第３節と同様の解析を行うこと(prior)で，以下の変分自由エネルギーを導出することができる．
∑∫
Fβ1 ,β2 (q) =q(Y n , θ) log q(Y n , θ)dθ

β2

Yn

−β1

∑∫

1. 0

q(Y n , θ) log p(X n , Y n |θ)dθ

ᓥ᧪ᴺ

ឭ᩺ᴺ

Yn

∫
−β2

r(θ) log ϕ(θ)dθ(10)

また，この変分自由エネルギー Fβ1 ,β2 (q) の最小化を考(likelihood)

式を，以下のように導出できる．

Q(Y n ) ∝ exp 〈β1 log p(X n , Y n |θ)〉r(θ)r(θ) ∝ ϕ(θ)β2 exp 〈β1 log p(X n , Y n |θ)〉Q(Y n )これらの式は，β1 = 1.0，β2 = 1.0 のときに，従来の変

β1

1. 0

えることで，VB-E ステップ，VB-M ステップでの更新

図 1: 提案アルゴリズムにおける温度パラメータのスケ
ジューリング．アルゴリズム [VB03] のみ，目標とする
温度パラメータが 1.0 とは限らず，変分自由エネルギーFβ1 ,β2 (q) を最小にする β2 が目標となる．

分ベイズ法の更新式と同じになる．
変分ベイズ法では，変分自由エネルギー F (q) が収束するまで，E ステップと M ステップを交互に繰り返す

繰り返し，収束時の結果と変分自由エネルギー Fβ1 ,β2 (q)ことで，F (q) を最小化する．本研究で提案する手法での値を保持する．

は，目的関数として温度パラメータ付き変分自由エネル

8. β2 < β̄2 ならばステップ 6 へ戻り，さもなくば，保持した変分自由エネルギーの最小値に対応する変分事後分
布をアルゴリズムの結果とし，終了する．

ギー Fβ1 ,β2 (q) を適用しアニーリングを制御するための

β1 , β2 に関するループを付加することでアルゴリズムを構成することが出来る．
従来の確定的アニーリング付きの変分ベイズ法では，
β1 = β2 = β とした上で，一変数の温度パラメータを手法での温度パラメータのスケジューリングを表したも制御することで構成していた．本研究で提案する手法でのである．このアルゴリズムの設定により得られる効果

は，β1 ，β2 を別々に制御するように構成する．そのアについて，以下で議論する．

ルゴリズムを以下に示す．

図 1 は，確定的アニーリング法における従来法と提案

アルゴリズム前半 (ステップ 3-5) では，尤度関数における温度パラメータを制御しており，従来のアニーリン[提案アルゴリズム]

グと同様の効果が期待できる．混合正規分布モデルや

1. β1 ，β2 の初期値を設定する．
2. パラメータについての変分事後分布 r(θ) のハイパー

隠れマルコフモデルなどのモデルにおいて，ベイズ事後

パラメータを初期化する．

がもつ階層性が挙げられる．その特徴から，モデルとパ

3. 以下の VB-EM ステップを収束するまで繰り返す.
VB-E ステップ:

ラメータが一対一に対応せず，尤度関数のピークがパラQ(Y n ) ∝ exp 〈β1 log p(X n , Y n |θ)〉r(θ)
VB-M ステップ:

分布が複雑になってしまう主な原因として，学習モデル

メータ空間上で一点ではなく，ある低次元多様体上に広がりをもつように構成されてしまう．β1 によるアニー
リングは，その複雑化した尤度関数に着目し，その部分にのみアニーリングを適用した手法になっており，階層的な構造を持つ学習モデルにおいて，その効果が期待さ

r(θ) ∝ ϕ(θ)β2 exp 〈β1 log p(X n , Y n |θ)〉Q(Y n )4. β1 を増加させる．
5. β1 = 1.0 ならばステップ 6 へ，さもなくばステップ
3 へ戻る．
6. β2 を増加させる．
7. ステップ 3 と同様に，VB-EM ステップを収束するまでれる．
一方で，アルゴリズム後半 (ステップ 6-8) では，尤度関数の温度パラメータを固定するため，アニーリング
効果はさほど期待できない．代わりに，事前分布のハイ
パーパラメータの部分最適化を行うことができる．
尤度関数に温度パラメータを導入した場合，モデルの

構造を変化させているため温度パラメータ付きの変分自をとる潜在変数である．このモデルのパラメータは，各

由エネルギー Fβ1 ,β2 (q) から，学習として最適な温度パK
正規分布の混合比 a = {ak }K
k=1 ，平均 µ = {µk }k=1 ，精

ラメータを見つけることはできない．その一方で，β2 の度行列 S = {S k }K
k=1 である．各パラメータの事前分布

みを変化させる過程を考えると，温度パラメータの変化

は，共役事前分布を用いた．具体的には，混合比 a に関に対して，尤度関数の変化はなく，事前分布のみが変化

する事前分布は，Dirichlet 分布:する構造になっている．そのため，変分自由エネルギーϕ(a)Fβ1 ,β2 (q) を最小にする温度パラメータ β2 を探索するこDir(a; φ0 ) ∝=K∏

aφk 0 −1 ,

(13)

k=1

とで，事前分布の最適化を行うことができる．また，変分ベイズ法でよく用いられる混合指数型分布や隠れマル

各正規分布について，S k が与えられたもとでの µk のコフモデルでは事前分布 ϕ(θ) に共役事前分布を用いる

事前分布は正規分布:

ことが要請され，その結果，ϕ(θ)β2 は，もとの事前分布

ϕ(µk |S k )のハイパーパラメータを変化させた分布となる．一般に事前分布のハイパーパラメータを最適化することは，ベϕ(S k )

イパーパラメータにおいて最適解を探索することは容易でない．本提案手法における，β2 のアニーリング過程
元最適化問題になっており，ハイパーパラメータ最適化を考える際に有用であると考えられる．
以上の性質をまとめると，提案手法では，まず尤度関数についての温度パラメータ β1 を変化させることで解(14)

S k の事前分布は Wishart 分布:

イズ学習において重要な課題であるものの，すべてのハは，各ハイパーパラメータの比を一定にした上での一次= N (µk ; ν 0 , (ξ0 S k )−1 ),=W(S k ; η0 , B 0 )∝1|S k |(η0 −M −1)/2 exp − Tr(S k B 0 )
2

{

}
(15)

とする．この場合の事前分布のハイパーパラメータは，{φ0 , ν 0 , ξ0 , η0 , B 0 } となる．ここで，事前分布に関する
温度パラメータ β2 を導入すると，事前分布は，その分布型は変わらず，各ハイパーパラメータは以下のようになる．

を安定化させ，その後事前分布についての温度パラメー

φ′0= β2 (φ0 − 1) + 1,

も最適化を行うことによって，従来のアニーリング法よξ0′= β2 ξ0 ,りも最良な解を探索できることが期待できる．

B ′0= β2 B 0

タ β2 を変化させることでハイパーパラメータについて

ν ′0 = ν 0

η0′ = β2 (η0 − M − 1) + M + 1

混合正規分布モデルによる検証

このことから，β1 = 1.0 の場合，異なる事前分布を用い提案手法の有効性を検証するために，混合正規分布モ

いて，事前分布のハイパーパラメータの最適化を行うこ

5た場合の変分ベイズ法と等価であるため，提案手法におデルにおける変分ベイズ法を実験的に行った．この節では，その結果を示す．

5.1とができることが伺える．
次に，尤度関数についての温度パラメータ β1 を導入した変分ベイズ法におけるアルゴリズムを議論する．VB-

混合正規分布モデル

本実験では，有効性の検証として，混合正規分布モデ

M ステップについて，パラメータ a の変分事後分布 r(a)は Dirichlet 分布:

ルを扱う．データ x を M 次元とし，K 個の正規分布か

r(a)らなる混合正規分布モデルの式は，

p(x|θ) =K∑

ak N (x; µk , S −1
k )

(11)

k=1

散共分散行列が Sの M 次元正規分布である．潜在変数 y を含めた形は以下のように表せる．

p(x, y|θ)

=

K
∏
{

}y k
ak N (x; µk , S −1
k )変分事後分布は正規分布:()
r(µk |S k ) = N µk ; µ̄k , (ξk S k )−1 ,(12)

W(S k ; ηk , B̄ k )(18)で与えられる．ここで，それぞれの変分事後分布のハイ
パーパラメータは

ここで，y k は，データ x が k 番目の正規分布から生成されていたならば y k = 1 となり，そうでなければ y k = 0(17)

S k の変分事後分布は Wishart 分布:r(S k ) =

k=1

(16)

各正規分布について，S k が与えられたもとでの µk ので与えられる．ここで，N (x; µ, S −1 ) は，平均が µ，分−1

Dir(a; {φk }Kk=1 ),=φk=

β1 nk + φ′0 ,µ̄k =β1 nk x̄k + ξ0′ ν ′0,
β1 nk + ξ0′

ξk

=

B̄ k

=

nk

=

β1 nk + ξ0′ ,ηk = β1 nk + η0′ ,β1 nk ξ0′
B ′0 + β1 C̄ k +(x̄k − ν ′0 )(x̄k − ν ′0 )T ,β1 nk + ξ0′
n
∑
k

ȳi

i=1
n

C̄ k

=

50
45
40
35

1 ∑ k
x̄k =
ȳi xi ,
nk
n

30
25
20

i=1

∑ k

15

ȳi (xi − x̄k )(xi − x̄k )

T

10
5

i=1

0
-5

となる．また，VB-E ステップについて，潜在変数における変分事後分布 Q(Y

n

-5

γik

)
(
〈 k〉
exp β1 γik(),= yi Q(Y n ) = ∑
(19)
K
j
exp
β
γ
1 i
j=1


K
∑
¯ ¯
1
φj  − log ¯B̄ k ¯= Ψ(φk ) − Ψ 
2
j=1
+

M
1∑

5

10

15

20

25

図 2: 検証に用いた学習データのプロット図

以下のようになる．

ȳik0) についての yik の期待値 ȳik は(Ψηk + 1 − i2)−となるようにした．

3.[アニーリングなし VB 法]
アニーリングを用いず，従来の変分ベイズ法を行う．
以上の３つのアルゴリズムのうち，アニーリングを用いた変分ベイズ法では，全ての正規分布を完全に同じにするといった局所解が多く得られてしまった．このよ

M
2ξk

2 i=1
)
ηk ( −1− Tr B̄ k (xi − µ̄k )(xi − µ̄k )T2

うな状況を回避するために，各温度パラメータでの収束先として正規分布の平均ベクトル µ̄k の値が同じになる

k1 ，k2 が存在した場合，次の温度パラメータでの初期

ここで，Ψ(·) は，ディガンマ関数を表す．変分ベイズ法

値として，µ̄k1 と µ̄k2 に微小な乱数を加えたものを設定の場合，事前分布として共役事前分布を用いることで，するようにアルゴリズムを変更した．

変分事後分布も事前分布と同型の確率分布になるという利点が知られているが，温度パラメータ β1 ，β2 を導入

5.2

人工データによる検証

した場合にもその利点は生かされていることがわかる．

まず始めに，学習データ X n を，5 個の二次元正規分

本研究では，提案手法の有効性を検証するために以下布からなる混合正規分布モデルから人工的に生成したの 3 つのアルゴリズムにおける挙動を比較した．

場合で検証を行った．すなわち，M = 2 である．図 2

1.[改良アニーリング VB 法]
提案アルゴリズムにより，変分ベイズ法を行う．具体的データの個数 n は 200 とした．この学習データに対しには，尤度関数における温度パラメータ β1 についてア
ニーリングを行い，その後，事前分布における温度パラ
メータ β2 について変化させ，事前分布の部分最適化を行う手法である．その際の温度パラメータ β1 ，β2 の初期値は，βi (0) = 0.01 とした．温度パラメータ β1 ，β2 の2β (t)
更新式は，βi (t + 1) = 1+βi i (t) とした [2]．この更新式は，

t → ∞ において βi = 1.0 に漸近するように構成されている．終了条件として，t = 10 において，β1 (t) = 1.0となるようにした．さらに，β2 における β2 > 1.0 の領域における更新式は，β2 (t + 1) = 1.25 × β2 (t) として15 回の更新を行った．
2.[従来のアニーリング VB 法]
Katahira らの提案したアニーリング法を用いた変分ベイズ法を行う．その際の温度パラメータ β の制御は [改良アニーリング VB 法] と同様に設定した．具体的には，初期2β(t)値を β(0) = 0.01 とし，更新式は，β(t+1) = 1+β(t) とした．また，終了条件として，t = 10 において，β(t) = 1.0

は，用いた学習データのプロット図である [4][5]．学習て，K = 5 の混合正規分布モデルで変分ベイズ学習を行った．事前分布 ϕ(θ) のハイパーパラメータは，

1∑
xi ,
n i=1
n

φ0

=

1.0,

ν0 =

η0

=

M + 1 = 3.0,

ξ0 = 0.01,

B0 = I Mとした．ここで，I M は M × M の単位行列を表す．また，各手法における変分事後分布 r(θ) のハイパーパラ
メータの初期値は，ν k については，学習データの平均と分散に基づいてランダムに設定し，B̄ k に関しては，B̄ k = B 0 に設定した．その他のハイパーパラメータについては，nk = n/K として，
φk = nk + φ′0 ,と設定した．

ξk = nk + ξ0′ ,ηk = nk + η0′

100

100

min:1264
60
40
20

80

Frequency

80

Frequency

80

Frequency100

min:1272
60
40
20

0
1250

1300

1350

1400

1450

0
1250

1500

60
40
20

1300

Free Energy

1350

1400

1450

min:1272

0
1250

1500

1300

Free Energy[改良アニーリング VB 法]

1350

1400

1450

1500

Free Energy[従来のアニーリング VB 法][アニーリングなし VB 法]

図 3: 人工データでの，各アルゴリズムにおける変分自由エネルギーのヒストグラム
70

70

min:22317

40
30
20

40
30
20

10

10

0
22300

0
22300

22340

22360

22380

22400

Free Energy[改良アニーリング VB 法]

22420

60

50

Frequency

50

22320

70

min:22384

60

Frequency

Frequency

60

50

min:22336

40
30
20
10

22320

22340

22360

22380

22400

22420

0
22300

22320

22340

Free Energy

22360

22380

22400

22420

Free Energy[従来のアニーリング VB 法][アニーリングなし VB 法]

図 4: 実データでの各アルゴリズムにおける変分自由エネルギーのヒストグラム

5.2.1

実験結果

次元のうち，論文 [7] で着目している 4 次元を用いた．つ

これらのアルゴリズムについて，初期値の取り方につまり，n = 4718，M = 4 という設定でシミュレーション

いて 100 回のシミュレーションを行った．図 3 は，各アを行った．この学習データに対して，K = 10 の混合正ルゴリズムにおける収束先での変分自由エネルギーの規分布モデルで変分ベイズ学習を行った．事前分布 ϕ(θ)

ヒストグラムを表したものである．それぞれの図においのハイパーパラメータは，

1∑
xi ,
n i=1
n

て，変分自由エネルギーが最小となるヒストグラムを黒塗りしてある．この結果を見ると，[従来のアニーリン
グ VB 法] では，局所解にトラップされる頻度が [アニーφ0

= 1.0,

ν0 =η0= M + 1 = 5.0,

ξ0 = 1.0,

B0 = I M

リングなし VB 法] と比較してかなり小さく，最適解に到達することが多く，改善されていることが分かる．一方，[改良アニーリング VB 法] での結果は，変分自由エ
ネルギーをより最小にする最適解が得られ，その解へ到とした．各手法における変分事後分布 r(θ) のハイパーパ
ラメータの初期値の設定は，先の実験と同様にし，温度パラメータのスケジュールに関しても，初期条件，更新式

達する頻度は [従来のアニーリング VB 法] と同等であは同じにし，終了条件のみ，t = 15 において β(t) = 1.0

る．このことから，提案手法である [改良アニーリングとなるように変更した．

VB 法] が従来の手法と比較して，有効であることがわ
かる．

5.3.1

5.3

実データによる検証

実験結果

人工データの場合と同様に，初期値の取り方について

100 回のシミュレーションを行った．図 4 は，各アルゴ
リズムにおける変分自由エネルギーのヒストグラムを本研究では，提案アルゴリズムの有効性の検証のため，表したものである．それぞれの図中において，変分自由

The Saccharomyces Cerevisiae Morphological Database

エネルギーの最小値におけるヒストグラムを黒塗りで表(SCMD)[9] で公開されている出芽酵母の必須遺伝子破壊株における形態データに混合正規分布モデルによる変示している．この結果を見ると，[従来のアニーリング

分ベイズ法を適用した．このデータは，501 次元のデールギーの値を [アニーリングなし VB 法] と比較すると，

タであり，その個数は 4718 個である．本研究では，501

その結果の全てが局所解であることがわかる．それに対VB 法] の結果は安定してはいるものの，変分自由エネ

70

min:22317

60

50Frequency

Frequency

60

40
30
20

40
30
20
10

0
22300

0
22300

22340

22360

22380

22400

22420

50

min:22317

40
30
20
10

22320

22340

Free Energy[改良アニーリング VB 法]

60

50

10

22320

70

min:22317
Frequency

70

22360

22380

22400

22420

Free Energy[従来のアニーリング VB 法]

0
22300

22320

22340

22360

22380

22400

22420

Free Energy[アニーリングなし VB 法]

図 5: 実データにおける，最適な事前分布を用いた場合の各アルゴリズムにおける変分自由エネルギーのヒストグ
ラムし，[改良アニーリング VB 法] では [従来のアニーリン

残ると思われる．

グ VB 法] よりも小さな変分自由エネルギーが得られてこのように，変分ベイズ法におけるアニーリングを構おり，提案手法の有効性がみてとれる．しかしながら，築する際，全ての要素を等しくする局所解にトラップさ[改良アニーリング VB 法] の中での結果をみると，最れる問題は深刻であり，どの学習モデルでも一般的に現適解に到達する頻度は，局所解にトラップされる頻度にれるものと考えられる．その問題に対応したアルゴリズ

比べ小さく，安定した結果が得られていないことも分か

ムや設定を考えることは今後の課題である．

る．この点に関しては，次章でより深く考察を行う．

6

考察
本章では，本研究で提案した手法に関連した考察を(2) 本研究で考えたアルゴリズムの性質について考察する．提案手法では，温度パラメータを 2 つ導入し，まず尤度関数についての温度パラメータを変化させ，その後，事前分布についての温度パラメータを変化させる

行う．

ことで，アニーリング効果だけでなく，事前分布のハイ(1) 本研究で行ったシミュレーションの結果として，ア
ルゴリズム [VB01] および [VB02] は解として全てのパーパラメータの部分最適化の効果も目指している．人

正規分布を同じにするという局所解にトラップされる現が確認できたが，実データによる実験においては，局所象が多く観測された．これは，式 (19) からも分かると解にトラップされる結果が多く確認され，アニーリング

おり，温度パラメータ β1 が小さい領域では，各々の k

効果が弱くなってしまっていた．

について，ȳik の値が等しくなっていくために起こるも工データによる実験では，その両方の効果が現れたこと

この点について，より深く考察するために，実データのと考えられる．この現象は，アルゴリズムの性質上，における追加実験を行った．図 5 は，先の実験における混合正規分布に限らず，混合指数型分布や隠れマルコフ[改良アニーリング VB 法] で求められる最適な温度パラモデルなど，潜在変数を導入した変分ベイズ法ならば，

メータ β2 に基づいて，事前分布を最適化し直した場合共通に現れる現象と思われる．

において，３つのアルゴリズムを比較したものである．

本実験では，そのような現象を回避するために，次のこれらの結果を比較すると，[従来のアニーリング VB

温度パラメータの初期値に微小な乱数を加えることを法] が，最も頻繁に最適解に到達することが確認できる．

行ったが，乱数を加える際の条件や，乱数の種類や大きこのことから，[改良アニーリング VB 法] では，ハイさなど，設定に恣意性が残る．また，Katahira らは，温パーパラメータの部分最適化を追加したものの，アニー度パラメータとして小さい値を用いずにある程度大きリング効果としては，[従来のアニーリング VB 法] にな値からアルゴリズムを開始する方法を用いており [5]，比べ弱まる場合が存在することが分かった．また，従来

Sato らは，各温度パラメータ上での VB アルゴリズムのアニーリング VB 法についても，事前分布が最適でなを収束させずに途中で温度パラメータを増加させることい場合には，アニーリングを用いることでより悪い局所を行っている [8]．しかしながら，これらの方法では，初解にトラップされてしまうことも分かった．

期値の影響が残ってしまう可能性があり，また，開始す

このように，2 つの温度パラメータのスケジューリン

る温度パラメータの値や，各温度パラメータ上での VB

グにはより最適な方法があるものと考えられる．これをアルゴリズムのステップ数など，やはり設定に恣意性が確立することは非常に重要であり，今後の課題として取り組む必要がある．

7

おわりに本研究では，変分ベイズ法において，2 種類の温度パラメータを導入することで，確定的アニーリングの拡張と，事前分布のハイパーパラメータの部分最適化法を提[8] I. Sato et. al., “Quantum Annealing for Variational Bayes Inference,” in Proc. 25th Conf. on
Uncertainty in Artiﬁcial Intelligence, 2009.
[9] “The Saccharomyces Cerevisiae Morphological Database (SCMD),” http://yeast.gi.k.utokyo.ac.jp/datamine/.

案し，その有効性を混合正規分布モデルでのシミュレー
ションにより示した．今後の課題は，温度パラメータの[10] K. Watanabe, and S. Watanabe, “Stochastic

スケジューリングなどの設定法の確立，及び，その他のモデルや問題に適用することなどが挙げられる．

Complexities of Gaussian Mixtures in Variational
Bayesian Approximation,” The Journal of Machine Learning Research, Vol. 7, pp. 625-644,

謝辞

2006.

本研究は，科学研究費補助金 18079003，20240020，[11] S. Watanabe, “Algebraic Analysis for Non-

及び，20650019 の援助を受けた．また，The Saccha-

Identiﬁable Learning Machines,” Neural Computation, vol. 13, pp. 899-933, 2001.

romyces Cerevisiae Morphological Database (SCMD)で公開されているデータを用いてシミュレーションを行った．SCMD データベースは本研究での使用の目的に限り，東京大学から無償で提供されている．

参考文献[1] H. Attias, “Inferring Parameters and Structure of
Latent Variable Models by Variational Bayes,” inProc. 15th Conf. on Uncertainty in Artiﬁcial Intelligence, pp.21-30, 1999.
[2] Z. Ghahramani, G. E. Hinton, “Variational Learning for Switching State-Space Models,” NeuralComputation, vol.12, pp. 831-864, 2000.
[3] S. Hara et. al. “LDPC Decoding Dynamics froma PCA Viewpoint,” Interdisciplinary Information
Sciences, Vol. 13, No. 1, pp. 43-48, 2007.
[4] 樺島祥介，上田修功，“平均場近似・EM 法・変分
ベイズ法，” 計算統計 I - 確率計算の新しい手法
統計科学のフロンティア 11，岩波書店，2003．

[5] K. Katahira, K. Watanabe, and M. Okada,“Deterministic Annealing Variant of Variational
Bayes Method,” Journal of Physics: Conference
Series, Vol. 95, 012015, 2008.
[6] Y. Ogata, “A Monte Carlo Method for an Objective Bayesian Proceure,” Ann. Inst. Stat. Math.,Vol. 42, No. 3, pp. 403-433, 1990.
[7] Y. Ohya et.al., “High-dimensional and large-scale
phenotyping of yeast mutants,” Proc. Natl. Acad.
Sci. USA, Vol. 102, No. 52, pp. 19015-19020, 2005.