変分ベイズ法を用いた分離型2次元格子HMMの学習におけるアニーリング制御の適用	 
名古屋工業大学
沢田慶 玉森聡 橋本佳
南角吉彦 徳田恵一	 
情報処理学会	 第74回全国大会 2012年3月8日	 

はじめに (1/2)	 
¢ 統計的手法による画像認識 固有顔・部分空間法などの統計的手法

効率の良い特徴抽出u 認識対象の位置や大きさの変動に対応困難⇒タスクに依存した正規化が必要u 画像認識タスクに依存しない手法が必要¢ 分離型2次元格子HMM [倉田ら; ’06]

 モデル構造に正規化処理を含む確率モデル⇒認識対象の位置や大きさの変動に対応可能 尤度最大化(maximum likelihood; ML)基準による推定u尤度を最大にする確定的変数を点推定⇒学習データが少量の場合に過学習はじめに (2/2)	 
¢ ベイズ基準による分離型2次元格子HMM [沢田ら; ’11]

 事前情報を事前分布として利用可能
 モデルパラメータを事後分布として表現
 積分計算が困難⇒変分ベイズ(variational Bayesian; VB)法により近似u

反復計算による逐次推定を行うため局所最適性の問題¢ 確定的アニーリング(DA)EMアルゴリズム

 温度に依存する自由エネルギー関数の最小化
 各温度で最適化を確定的に実行 ML基準における局所最適性の問題を改善
 VB法におけるアニーリング制御 [片平ら; ’07]

VB法を用いた分離型2次元格子HMMの学習にアニーリング制御を適用

分離型2次元格子HMM	 ¢ 横方向と縦方向の状態遷移は独立

 状態が継続する長さにより画像の変動を表現⇒認識対象の横方向と縦方向の伸縮に対応可能
横方向の状態	特徴量は対応する
確率分布より出力		

縦方向
叏
状態

状態で画像を矩形領域に分割	

状態の出力確率分布	

分離型2次元格子HMM	 ¢ 横方向と縦方向の状態遷移は独立

 状態が継続する長さにより画像の変動を表現⇒認識対象の横方向と縦方向の伸縮に対応可能
横方向の状態	特徴量は対応する
確率分布より出力		

縦方向
叏
状態

状態で画像を矩形領域に分割	

状態の出力確率分布	

尤度最大化 (ML) 基準	 ¢ 尤度が最大となるモデルパラメータ	 	 を点推定	 	 学習データ	 

テストデータ	 

予測分布	 

学習データ量	

多量	

少量	

学習データ	
推定される	
モデル	

学習データが少量の場合に過学習の問題

ベイズ基準	 ¢ モデルパラメータを事後分布として表現	 

事前情報	 

事前分布	 
: 隠れ変数		 学習データ	 

事後分布	 

テストデータ	 

予測分布	 

利点 : 事前情報が利用可能，モデルパラメータの周辺化
欠点 : 積分計算が困難 ⇒・ MCMC法 [Gilks, et al.; ’96]
⇒・ MAP法 [Gauvain, et al.; ’94]
⇒・ 変分ベイズ法 [Attias; ’99]	

変分ベイズ (VB) 法 (1/2)	 
¢ 対数周辺尤度	 の下限を定義

Jensenの不等式	
: 状態系列	: 任意関数	¢ 下限の最大化による対数周辺尤度	 	 	 	  の近似

: KL-divergence	の最大化⇔KL-divergenceの最小化
 任意関数	 	 	 	 	 	 	 は事後分布	 	 	 	 	 	 	 	 	 	 を近似 下限

変分ベイズ (VB) 法 (2/2)	 
¢ 近似事後分布の制約条件: 近似事後分布	: 変分事後分布	

¢ 下限の最大化

VB E-step 	

交互に最適化	

VB M-step 	¢ 事後分布の近似分布を推定

 ベイズ基準を近似可能でML基準より高い汎化能力
 EMアルゴリズムと同様の反復計算による逐次推定⇒初期値に依存した局所最適性の問題

確定的アニーリング(DA)EMアルゴリズム	 ¢ 自由エネルギー関数に温度パラメータを導入した下限: 温度パラメータ	¢ 温度パラメータによるアニーリング制御




⇒ 下限 	 は唯一の極大値⇒ 下限 	 は複数の極大値⇒ 本来の尤度関数

EM	DAEM	
最適解	
局所解	

Model parameter	

初期値に依存しにくい推定が可能

Likelihood	Likelihood	

最適解	Model parameter	VB法におけるアニーリング制御の適用	 
¢ 自由エネルギー関数に3つの温度パラメータを導入: 出力確率分布の温度パラメータ	

: 状態遷移確率の温度パラメータ	
: 事前分布の温度パラメータ	¢ 自由エネルギー関数の下限	 	 	 	 	 を定義¢ アニーリング制御における温度スケジュール

 各温度パラメータに個別の温度スケジュール⇒モデル構造に適したアニーリング制御が可能

局所最適性の問題を改善可能

顔画像認識実験	 実験条件 (1/2)	 
データベース	 XM2VTS	 

画像サイズ	 

64×64	 

階調数	 256, グレースケール	 

学習データ	 

1名あたり6枚 × 100名分

テストデータ	 

1名あたり2枚 × 100名分

状態数	 

8×8, 16×16, 24×24, 32×32,40×40, 48×48, 56×56, 64×64	 

事前分布	 

全学習データから学習したモデル	 

調整パラメータ	 

500, 1000, 2000, 3000, 4000

顔画像認識実験	 実験条件 (2/2)	 
¢ 温度スケジュール	 : 出力確率分布の変数	
: 状態遷移確率の変数	
: 事前分布の変数	

Temperature parameter `k(i)1_k=1/64_k=1/16_k=1/4_k=1/2
_k=1
_k=2
_k=4
_k=16
_k=64

0.8
0.6
0.4
0.2
005: 出力確率のスケジュールを調整	

10Iteration i15: 状態遷移のスケジュールを調整	

20: 事前分布のスケジュールを調整	対数周辺尤度の比較	 
VB法におけるEMとDAEMの対数周辺尤度比較()	 Log marginal likelihood	 -13500-14000-14500-15000-15500-16000-16500DAEMを用いることにより尤度が向上-17000-175008×816×16: 出力確率のスケジュールを調整	

24×2432×32 40×40 48×48
Number of states	 VB-EM
VB-DAEM: 状態遷移のスケジュールを調整	

56×5664×64: 事前分布のスケジュールを調整	

認識率の比較	 
ML法とVB法の認識率の比較()

Recognition rate (%)	 

80
70
60
5040

DAEMを用いることにより高い認識率

30
20
8×8

16×16ML-EM: 出力確率のスケジュールを調整	

24×2432×32 40×40 48×48 56×56
Number of states	 
ML-DAEMVB-EM
VB-DAEM: 状態遷移のスケジュールを調整	

64×64: 事前分布のスケジュールを調整	

温度スケジュールの影響	 
VB法における温度スケジュールの影響 ( 40×40状態，)	

Recognition rate (%)	 

82.5
81.5
80.5
79.5
78.5

個別の温度スケジュールによりモデル構造に適したアニーリング制御可能

77.5
76.5
1/4

1/2

1	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 : 出力確率のスケジュールを調整	

2	 : 状態遷移のスケジュールを調整	

4	 	 	 	 : 事前分布のスケジュールを調整	むすび	 
¢ 変分ベイズ法を用いた分離型2次元格子HMMの学習にアニーリング制御
 アニーリング制御を適用した学習アルゴリズムを導出
u

3つの温度パラメータを導入⇒各温度パラメータに個別の温度スケジュールが可能 アニーリング制御により高い対数周辺尤度と認識率⇒局所最適性の問題を改善
 モデル構造に適した温度スケジュールが存在¢ 今後の課題

 温度スケジュールの最適化に関する検討 事前分布の検討