情報論的学習理論テクニカルレポート 2009
Technical Report on Information-Based Induction Sciences 2009 (IBIS2009)

Kullback-Leibler Importance Estimation Procedure を用いた
Restricted Boltzmann Machine の学習アルゴリズム
Learning Algorithm in Restricted Boltzmann Machines using
Kullback-Leibler Importance Estimation Procedure
桜井 哲治∗
Tetsuharu Sakurai

安田 宗樹 ∗
Muneki Yasuda

田中 和之 ∗
Kazuyuki Tanaka

Abstract: Deep Belief Networks (DBN) are generative neural network models with manylayers of hidden units which were recently introduced along with a greedy layer-wise learning algorithm by Hinton et al. The main building block of a DBN is a bipartite undirected
graphical model called “restricted Boltzmann machine ”. In the present paper, we propose a new and less greedy learning algorithm for restricted Boltzmann machines within
DBNs using Kullback-Leibler Importance Estimation Procedure. We also show its validity
by comparing our proposed algorithm with the exactly calculated KL(PD ||PVD ) learningalgorithm using numerical experiments based on artiﬁcial data.
Keywords: deep belief network, variational bound, restricted Boltzmann machine, learning algorithm, Kullback-Leibler Importance Estimation Procedure

1

はじめに

Deep Belief Network (DBN) は Hinton らによって，その学習アルゴリズムとともに提案された階層構造をもつベイジアンネットワークモデルである [1]．Greedy な学習アルゴリズムの存在やそこでの推論が容易であることを背景に次元圧縮器やパータン認識問題などへの応用が期待されている [2]．

DBN の学習は各層間の結合確率を Restricted Boltzmann Machine (RBM)[3] とよばれる特別な構造をもつ
ボルツマンマシンと考え，RBM の学習アルゴリズムを用いて各層間のパラメータを学習する．RBM は可視素子層と隠れ素子層の 2 層からなる 2 部グラフの構造をもっており，各層内での結合はない．DBN の学習はその構成要素である RBM の学習を逐次的に進めていくことによりおこなわれる [1, 4]．したがって DBN のよりよい学習を得るためには各層をなしている RBM のよりよい学習アルゴリズムを設計する必要がある．
しかしながら RBM の厳密な学習アルゴリズムは素子数に対して指数的に増加する計算量をもっているため一∗ 東 北 大 学 大 学 院 情 報 科 学 研 究 科,

〒 980-8573 仙 台 市
青 葉 区 荒 巻 字 青 葉 6-3-09, E-mail { tsakurai,muneki,kazu}@smapip.is.tohoku.ac.jp,
Graduate School of Information Sciences, Tohoku University.

般には NP-hard のクラスに属し，計算が困難である．そこで実装においては何らかの近似的手段に頼らざるを得ないこととなる．Contrastive divergence 法 [5, 6] とよばれるギブスサンプリング法を基礎とした確率近似アルゴリズムが RBM の近似学習アルゴリズムとして近年よく知られた方法の一つである．

Roux and Bengio は DBN の学習に対して有効な方法（Variational Bound の最適化法）として従来とは異なる
RBM の学習基準を提案した [7]．彼等の基準による学習
アルゴリズムを用いると 3 層の DBN の場合，システム
が観測データ点の経験分布を十分に表現し得るものであるならば，Greedy 学習の際にこの基準による RBM 学
習を用いることで最適な DBN を学習できることが示されている [7]．しかしながら彼らの学習基準による RBMの学習アルゴリズムもやはり計算コストの問題を抱えており，それを解決する近似アルゴリズムの開発が必要とされている．
本論文では Sugiyama 等 [8] によって提案された Kullback-Leibler Importance Estimation Procedure (KLIEP) と呼ばれる近似手法を Roux and Bengio[7] の学習基準による学習アルゴリズムに適用することにより，実装に耐え得る性能のよい新しい RBM の近似学習アルゴリズム

を提案する．
第 2 節では Deep Belief Network に対する Greedy 学
習アルゴリズムの概要について要約して説明する．第 3
節では KLIEP にもとづく RBM の新しい近似学習アルゴリズムを提案する．第 4 節では提案した手法における人工データに対する数値実験を行い，第 5 節ではまとめをあたえる．

2

以下のようになる．
∑
PV (v | Θ) ≡PRBM (v, h | Θ)h()∑
GV (v, b, w)
=
exp
ai vi
ZRBM (Θ)
i∈V∑
PH (h | Θ) ≡PRBM (v, h | Θ)v

∑GH (h, a, w)=
exp 
b j hj 
ZRBM (Θ)

Deep Belief Network
ただし

GV (v, b, w) ≡Restricted Boltzmann Machine

(4)

j∈H

本節では DBN に対する Greedy 学習アルゴリズムとその基本単位となる RBM について概説する．

2.1

(3)

∏

{

(

1 + exp bj +

∑

j∈H

i∈V

i∈V

j∈H

)}
wij vi

(5)





∏
∑
GH (h, a, w) ≡1 + exp ai +wij hj 



㼔

㼢

(6)

図 1: RBM の例．上段が隠れ素子の層であり，下段が可視素子の層である（|V | = 4, |H| = 3）．

RBM は可視素子の層と隠れ素子の層からなる無向 2部グラフで表現されるボルツマンマシンであり，各層内としている．可視素子で条件付けられた隠れ素子の条件付き確率 PH|V (h | v, b, w) はベイズの定理より) }{(∑∏ exp bj + i∈V wij vi hj)(
PH|V (h | v, b, w) =∑j∈H 1 + exp bj +i∈V wij vi(7)での結合はない．可視素子はデータの入出力をおこなう素子であり，隠れ素子はモデルの内部自由度を増加させとなる．同様にして隠れ素子で条件付けられた可視素子

る．各素子は {0, 1} の値を確率的にとる．

の条件付き確率 PV |H (v | h, a, w) は
) }{(∑∏ exp ai + j∈H wij hj vi)(
PV |H (v | h, a, w) =
∑
w
h
ij
j
i∈V 1 + exp ai +j∈H

可視素子 v = {0, 1}|V | ，隠れ素子 h = {0, 1}|H| からなる RBM を考える．ここで V = {1, · · · , |V |} を可視
素子のラベルの集合，H = {1, · · · , |H|} を隠れ素子のラベルの集合としている．このとき，RBM の状態は次(8)のボルツマン分布であらわされる．
()
1
PRBM (v, h | Θ) =exp − E(v, h | Θ)
ZRBM (Θ)(1)となる．したがって v と h は互いに条件付き独立である．

M 個の観測データ点 {dµ ∈ {0, 1}|V | | µ = 1, · · · , M }を得たとすると，観測データの経験分布 PD (v) は

ここで ZRBM (Θ) は規格化定数であり，E(v, h|Θ) = −∑i∈Vai vi −∑j∈Hb j hj −∑∑1 ∑∏δ(vi , dµi )M µ=1M

PD (v) ≡(9)i∈Vwij vi hj

i∈V j∈H

で定められる．ここで δ(x, y) はクロネッガーのデルタ関数である．この経験分布に対して RBM の学習は Kullback-(2)

Leibler (KL) 情報量と定義されている．a = {ai | i ∈ V }，b = {bj | j ∈ H}

KL(PD ||PV ) =はそれぞれ可視素子，隠れ素子のバイアスパラメータであり，w = {wij | i ∈ V, j ∈ H} は可視素子と隠れ素子との間の結合パラメータである．表記の簡単のためパラメータの集合を Θ = {a, b, w} であらわす．
可視素子 v，隠れ素子 h に関する周辺分布はそれぞれ∑PD (v) lnv

PD (v)PV (v | Θ)

(10)を用いて次のように表現される．

b = arg min KL(PD ||PV )
Θ
Θ

(11)

式 (11) の厳密な遂行には一般に O(e|V |+|H| ) の計算量が必要となるので現実的ではない．したがって実装の際には平均場近似や CD 法などの近似的手段が必要となる．

Deep Belief Network に対する Greedy
学習アルゴリズム2.2

㼔㻔㻸㻙㻝㻕

STEP 4. l ← l + 1
if(l ≤ L − 2) → STEP 2. に戻る．

㻾㻮㻹㼃㻔㻸㻙㻝㻕

STEP 3. W(l+1) を固定する．この W(l+1) を用いて
h(l) から h(l+1) を式 (7) の確率に従って発生させ，これを新しい “データ” とみなす．

㼔㻔㻸㻙㻞㻕

if(l = L − 1) → 終了．

㼃㻔㻸㻙㻞㻕

となる．Greedy 学習アルゴリズムが終了した段階のパラメータの値を有効な初期値と考え，Wake-Sleep アル㼃㻔㻞㻕

ゴリズム [9] などの少々コストの高い学習アルゴリズム

㼔㻔㻝㻕

を実行してパラメータを再度調整することも可能である．

㼃㻔㻝㻕

図 2: L 層の DBN．図において最下層がデータの入出力

Hinton 等は上記の Greedy 学習アルゴリズムは Variational Bound” と呼ばれる DBN におけるデータの尤度の下限を上昇させるアルゴリズムになっていると指摘しをおこなう可視素子の層であり，最深の 2 層間は RBMている [1]．Roux and Bengio はこの Variational Boundを構成している．最深の 2 層間以外の結合には方向性が最適化の観点から式 (11) の基準とは異なる RBM に対ある．

する新しい学習の基準を提案した [7]．

㼢Roux and Bengio は 2.1 節で議論した観測データの経験分布 PD (v) と RBM の周辺分布 PV (v | Θ) との間

DBN は確率的素子からなる階層構造をもつ確率推論
モデルである（図 2）．最深の 2 層間は RBM を構成しての KL 情報量最小化の基準の変わりにデータの経験分布

いるが，それ以外では有効非巡回グラフになっている．

PD (v) と分布

以下で Hinton らにより提案された DBN の Greedy な

PVD (v | Θ)∑
PV |H (v | h, a, w)PH|V (h | v0 , b, w)PD (v0 )≡学習アルゴリズムを概説する．

L 層の DBN を考える．層 l は確率変数 h(l) ∈ {0, 1}ν(l)をもつとする．ここで ν(l) を層 l に含まれている素子数

h,v0

(13)

とした．層 l = 0 は可視素子（データの入出力の素子）の層となるため，特別に h

(0)

(l)

= v とする．素子 hの状態確率は遷移確率b = arg min KL(PD ||P D )ΘV

Ptr (h(l) | h(l+1) , W(l+1) ){()}∑(l+1) (l+1)
(l)
(l)
hi
∏ exp θi + j∈Ωl+1 wij hj
)
(
=
∑
(l)
(l+1) (l+1)
1
+
exp
θ
+
w
h
i∈Ωl
i
j
j∈Ωl+1 ijΘによって決定される．つまり θ (l) は素子 h(l) のバイアス
パラメータであり，w

(l)

は素子 h

(l+1)

と素子 h

(14)

分布 PVD (v | Θ) は観測データ点の経験分布から分布

(12)

(l+1)

との間の KL 情報量最小化を RBM の学習の基準とした：

PH|V (h | v, b, w) にしたがい隠れ素子の状態をつくり，それを用いて分布 PV |H (v | h, a, w) にしたがい可視素子の状態分布を再構成した分布であると解釈できる．式(14) の学習基準は DBN の Variational Bound の最適化のを達成する基準であり，とくに L = 3 で DBN が観測間の結合パラメータである．ここで Ωl は層 l に含まれデータ点の経験分布を十分に表現し得るものであるならる素子の集合である．また W(l) = {θ (l−1) , w(l) } としば，Greedy 学習の際にこの基準による RBM 学習を用ている．このとき，DBN に対する Greedy 学習アルゴ

いることで最適な DBN を学習できることが示されていリズムはる [7]．

STEP 1. l ← 0
STEP 2. h(l) と h(l+1) の結合確率を PRBM (h(l) , h(l+1) |3

Restricted Boltzmann Machineの近似学習アルゴリズム

θ (l) , θ (l+1) , w(l+1) ) と考え，RBM の学習アルゴリ
ズムを用いてパラメータ {θ (l) , θ (l+1) , w(l+1) } を学

本節では KLIEP を用いて Roux and Bengio[7] によ習する（h(l) を可視素子の層，h(l+1) を隠れ素子

り提案された新しい基準による RBM の学習アルゴリズの層であると考える）．

ムの近似アルゴリズムを提案する．

3.1

Roux and Bengio の基準による学習ア
ルゴリズム

Roux and Bengio の基準 (14) にしたがい再構成された分布 PVD (v | Θ) とデータの経験分布との間の KL 情
報量KL(PD ||PVD ) =PD (v)PD (v) ln DP
V (v | Θ)v(15)

パラメータ Θ = {a, b, w} に関する勾配はそれぞれ

=−

(16)
M
1 ∑∑(

M µ=1

)
hj − gj (dµ , bj , w)

観測データ点の個数が大きい場合はこの計算にかなり

Kullback-Leibler Importance Estimation Procedure による近似

式 (21)，(22) の W (h, Θ)，Wi (h, Θ) における密度
比 PD (v)/PVD (v|Θ) を Sugiyama 等によって提案された KLIEP[8] の近似法を用い近似的に評価することで，× W (h, Θ)PH|V (h | dµ , b, w)∂KL(PD ||PVD )
1
=−
∂wij
M µ=1

る 2 重和をもつこととなる．

勾配 (16)〜(18) における観測データ点の個数に関する

h

M ∑
∑

る．よってそれぞれの勾配は観測データ点の個数に関す

3.2

h

=−

式 (21)，(22) からわかるように W (h, Θ)，Wi (h, Θ) のす前にこの 2 重和を回避する方法を考える必要がある．

dµM µ=1 iM

∂bj

テカルロ積分等のなんらかの近似法が必要となるのであのコストがかかってしまうため，まず何らかの近似を施

M
1 ∑

1 ∑∑
fi (h, ai , w)W (h, Θ)PH|V (h | dµ , b, w)+
M µ=1∂KL(PD ||PVD )密に計算することはできない．そこで平均場近似やモン計算には観測データ点の個数の和を実行する必要があ

観測データ点の経験分布であり式 (9) で定義されている．

∂ai

勾配 (16)〜(18) は素子数の指数オーダーの計算量を必要とするため，大きいシステムでは現実的な時間内で厳るが，これら勾配の計算にはもう一つ問題点が存在する．

∑

をパラメータ Θ に関して最小化する．ただし PD (v) は∂KL(PD ||PVD )としている．

(17){

的に評価する方法について述べる．

hj Wi (h, Θ)h(

2 重和を回避する．以下では，密度比 PD (v)/PVD (v|Θ)
に対して KLIEP を適用し，W (h, Θ)，Wi (h, Θ) を近似)}

密度比 PD (v)/PVD (v|Θ) に対して(PD (v)/PVD (v | Θ) ∝ exp+ dµi hj − hj fi (h, ai , w) − dµi gj (dµ , bj , w) W (h, Θ)× PH|V (h | dµ , b, w)(18)となる．ここで fi (h, ai , w) と gj (v, bj , w) はそれぞれ)(∑
exp ai + j∈H wij hj()(19)
fi (h, ai , w) ≡∑1 + exp ai + j∈H wij hj()∑
exp bj + i∈V wij vi()∑
gj (v, bj , w) ≡(20)
1 + exp bj + i∈V wij vi

W (h, Θ) ≡なる近似的モデル化を試みる．これは規格化定数を考慮
すると

(
)
∑
1
PD (v) ≈exp
ci vi PVD (v|Θ)
Z(c, Θ)i∈V≡ QV (v | c, Θ)と近似することに対応する．ただし
(
)
∑
∑
exp
ci vi PVD (v|Θ)
Z(c, Θ) ≡

∑
v

vi

M
∑

(21)
µ=1

µ
1 ∑ µ PV |H (d | h, a, w)
di
M µ=1
PVD (dµ | Θ)

(25)

i∈V

dµi =

M ∑
∑

fi (h, ai + ci , w)PH|V (h | dµ , b, w)

µ=1 h

(26)

PD (v)PV |H (v | h, a, w)
PVD (v | Θ)の解であることが導ける．密度比推定式 (24) を式 (21)，(22) に代入することにより

M

=

(24)

したがって KLIEP の文脈で最適な c は方程式

M

Wi (h, Θ) ≡(23)

量 KL(PD ||QV ) を最小にする c を最適な c と考える．

PVD (v | Θ)µ1 ∑ PV |H (d | h, a, w)=
M µ=1
PVD (dµ | Θ)

ci vi

は規格化定数である．KLIEP の文脈によると KL 情報∑ PD (v)PV |H (v | h, a, w)
v

)

i∈V

v

と定義しており，W (h, Θ)，Wi (h, Θ) はそれぞれ

∑

(22)

W (h, Θ) ≈GH (h, a + c, w)
1
Z(c, Θ) GH (h, a, w)(27)

Wi (h, Θ) ≈fi (h, ai + ci , w) GH (h, a + c, w)
Z(c, Θ)GH (h, a, w)(28)(31)，(33) に共通する係数 Z(c, Θ)−1 は有限の c に対して常に正なので，この係数を無視しても勾配の方向はなる近似を得る．
式 (27)，(28) を勾配 (16)〜(18) に代入することによ

変わらない．したがってこの係数の寄与を無視するという近似をさらに施す．

りそれぞれ以上の議論より KL(PD ||PVD ) のパラメータ ai ，bj ，wij

∂KL(PD ||PVD )
∂ai
M
M ∑
∑
1 ∑ µ
1
≈−
di +
fi (h, ai , w)
M µ=1
M Z(c, Θ) µ=1に対する勾配 ∆ai ，∆bj ，∆wij は KLIEP によりそれぞれ以下のように近似される．

∆ai ∝ −hGH (h, a + c, w)
PH|V (h | dµ , b, w)(29)
GH (h, a, w)
M ∑(∑∂KL(PD ||PVD )
1
≈−
hj
∂bj
M Z(c, Θ) µ=1h) G (h, a + c, w)
H
PH|V (h | dµ , b, w)− gj (dµ , bj , w)
GH (h, a, w)
(30)
×

M ∑(
∑

)
fi (h, ai + ci , w) − fi (h, ai , w)µ=1 h

GH (h, a + c, w)
PH|V (h | dµ , b, w)(34)
GH (h, a, w)
M ∑() G (h, a + c, w)∑
H∆bj ∝ −
hj − gj (dµ , bj , w)
GH (h, a, w)
µ=1
×

h

× PH|V (h | dµ , b, w)∆wij ∝ −∂KL(PD ||PVD )∂wij≈−

重和の問題は回避されていることがわかる．勾配 (30)，M ∑(∑dµi hj + hj fi (h, ai + ci , w)

µ=1 h
M ∑(
∑
dµi hj + hj fi (h, ai + ci , w)

1
M Z(c, Θ) µ=1h) G (h, a + c, w)
H
GH (h, a, w)− hj fi (h, ai , w) − dµi gj (dµ , bj , w)
× PH|V (h | dµ , b, w)(31)− hj fi (h, ai , w) − dµi gj (dµ , bj , w)
×

(35)

)

GH (h, a + c, w)
PH|V (h | dµ , b, w)
GH (h, a, w)(36)

c を求める方程式 (26) と式 (34)〜(36) における h に関する和は O(e|H| ) 個の項の和なので大規模なシステムでは厳密にこれらの勾配を計算することが難しい．したなる近似を得ることができる．さらに式 (26) は
M
M ∑
∑
1 ∑ µ
1
fi (h, ai + ci , w)
di =
M µ=1
M Z(c, Θ) µ=1
h×GH (h, a + c, w)
PH|V (h | dµ , b, w)
GH (h, a, w)(32)がって実装の際にはここから更に何らかの近似をする必要がある．
そこで本論文では h に関する和，すなわち分布 PH|V (h |dµ , b, w) に関する平均を PH|V (h | dµ , b, w) からのサンプリングによるモンテカルロ積分で近似的に評価する．2.1 節で議論したように分布 PH|V (h | dµ , b, w) は条件付き独立であるので，ここからサンプルを得ることと変形可能であるので式 (29) は式 (26) の解である最適は容易である．モンテカルロ積分のためのサンプリングな c を用いてとして K 点のサンプリングをおこなうとすると，c の∂KL(PD ||PVD )
∂ai
M ∑(
∑
1
fi (h, ai + ci , w)
M Z(c, Θ) µ=1h) G (h, a + c, w)
H
PH|V (h | dµ , b, w)− fi (h, ai , w)
GH (h, a, w)
(33)

≈−

と表現することができる．

KLIEP の適用により近似された勾配 (29)〜(31) は観

計算，あるいは勾配 (34)〜(36) を一回計算するのに必
要な計算量は O(KM |V ||H|) 程度である．
提案近似アルゴリズムは以下のようにまとめられる．

STEP 1. パラメータ Θ を初期化する．
STEP 2. 方程式 (26) を解き c を求める．
STEP 3. STEP 2. で求めた c を用いて勾配 (34)〜(36)を計算する．
STEP 4. 勾配降下法によりパラメータ Θ を更新する．

測データ点の個数に関する和は一つしかもたない．した
がって 3.1 節で議論した観測データ点の個数に関する 2

STEP 5. 収束条件を満たさなければ STEP 2. に戻る．

4

数値実験
本節では提案学習アルゴリズムを用いて数値実験を行

10−3
KL(PRB||PRB−K)

う．まず，Roux and Bengio (RB) の基準 (14) にしたがい勾配 (16)〜(18) を用いて RBM を学習するアルゴリズ
ムを RB アルゴリズムとする．これに対して KLIEP の近似法を適用したアルゴリズムを RB-K アルゴリズムと

RB−KZ
RB−KE
RB−KS

10−4

10−5

する．RB-K の中で式 (26) を解いて c を求め，式 (29)〜(31) によりパラメータの勾配を計算するアルゴリズム

10−60

を RB-KZ，式 (26) を解いて c を求め，式 (34)〜(36) を

100

200
300
update step

400

用いるアルゴリズムを RB-KE，そして，RB-KE の c を求める計算と勾配計算における分布 PH|V (h | dµ , b, w)
に関する平均を PH|V (h | dµ , b, w) からのサンプリン
グによるモンテカルロ積分で近似的に評価し計算するアルゴリズムを RB-KS と呼ぶこととする．RB アルゴリ
ズムの近似アルゴリズムである RB-K の近似性能を同

図 3: KL(PRB ||PRB−K ) の収束性．異なるデータに関して 100 回試行し，その平均値を与えている．式 (29)〜(31) によりパラメータの勾配を計算するアルゴリズム
を RB-KZ，式 (34)〜(36) を用いるアルゴリズムを RB-

一のデータを RB アルゴリズムで学習した分布 PRB (v)KE，RB-KE の勾配計算における一部の統計量をモンテカルロ積分で近似的に評価し計算するアルゴリズムをと RB-K アルゴリズムで学習した分布 PRB−K (v) の KL

RB-KS とそれぞれ表している．

情報量Z(c, Θ) ≤ 1 であることが多いため起こる．3.2 節で示したように RB-K アルゴリズムは RB アルゴリズムにお1 ∑PRB (v)
KL(PRB ||PRB−K ) ≡PRB (v) ln|V | v
PRB−K (v)(37)

けるデータに関する 2 重和を回避できている．したがって，提案手法は RB アルゴリズムの性能を低下させることなくより大規模なネットワークに適用できるアルゴリ

により評価する．
学習には可視素子数 |V | = 4，隠れ素子数 |H| = 4 で各可視素子 (隠れ素子) がすべての隠れ素子 (可視素子)と結合をもつ RBM を用いる．データは学習に用いるもズムであるといえる．

5

まとめのと同じ構造をもつ RBM により生成する．データ生成

本論文では，RBM の学習アルゴリズムを Roux and

モデルにおけるパラメータ Θ = {a, b, w} はそれぞれBengio の基準 (14) による RBM の学習法に KLIEP を組み合わせることによって提案した．また，人口データ
に対する数値実験において，提案アルゴリズムは Roux

平均 0，分散 (0.2) のガウス分布 N (0, 0.2) から独立に
2

サンプルした値を用いる．このデータ生成モデルから{0, 1}|V | の 2 値の人工データを M = 100 個生成し，これを観測データとする．まず，サンプリングにより得ら

and Bengio の基準 (14) による学習法に対するよい近似となっていることを確認した．

れた観測データ点 {dµ ∈ {0, 1}|V | | µ = 1, · · · , M } に

本論文では厳密計算との比較を行うためにノード数の対して RB アルゴリズムを用いてパラメータが収束する

少ない場合の数値実験のみを与えているが，より多くのまで RBM の学習を行う．次に，パラメータ更新回数を

ノード数をもつ大規模な体系に対する数値実験を行う準500 に固定して同一のデータで RB-K アルゴリズムによ備を進めている．また，提案法の近似精度だけでなく，り RBM の学習を行い，パラメータ更新ごとに KL 情報

提案法を採用することによりどの程度計算時間が短縮さ

量 37 を計算する．これを，異なるデータに関して 100

れるか評価することも必要である．観測データ点数 M ，回試行しその平均値を図 3 に示す．ただし，RB-K によ

サンプル点数 K をそれぞれ変化させたときの計算時間

る学習におけるステップサイズはすべて 0.05 で一定とと近似精度の関係を調べる実験の準備も進めている．さし，RB-KS におけるサンプル点数は K = 5 としている．

らに，手書き文字認識などの具体的な情報処理の応用に

図 3 より，RB-KZ，RB-KE，RB-KS はそれぞれ RB
アルゴリズムのよい近似を与えているといえる．RB-KZの収束が速いのは，ステップサイズ一定の下では RB-

KE，RB-KS と比較すると勾配の値が大きくなるためである．これは，パラメータ更新回数が少ないうちはおける問題に適用することも検討している.

謝辞
本研究の一部は文部科学省科学研究費補助金 (No.21700247

and No.18079002) およびグローバル COE プログラム

“Center of Education and Research for Information
Electronics Systems” の補助を得て行われたものである.

参考文献[1] G. E. Hinton, S. Osindero, and Y. W. Teh: A
fast learning algorithm for deep belief nets. NeuralComputation, Vol.18, No.7, pp.1527-1554, 2006.
[2] G. E. Hinton and R. R. Salakhutdinov: Reducing
the dimensionality of data with neural networks.
Science, 313, pp.504-507, 2006.
[3] G. E. Hinton: Products of experts. In Proceedings of the Ninth International Conference on Artificial Neural Networks (ICANN) , Vol.1, pp.1-6,
1999.
[4] Y. Bengio, P. Lamblin, D. Popovici, and H.
Larochelle: Greedy layer-wise training of deep
networks. IAdvances in Neural Information Processing Systems 19, pp.153-160, 2007.
[5] G. E. Hinton: Training products of experts byminimizing contrastive divergence. Neural Computation, Vol.14, No.8, pp.1771-1800, 2002.
[6] M. A. Carreira-Perpinan and G. E. Hinton: On
contrastive divergence learning. In Artificial Intelligence and Statistics , 2005.
[7] N. Le Roux and Y. Bengio:
Representational Power of Restricted Boltzmann Machines
and Deep Belief Networks. Neural Computation,
Vol.20, No.6, pp.1631-1649, 2008.
[8] M. Sugiyama, S. Nakajima, H. Kashima, P. vonBünau, and M. Kawanabe: Direct Importance Estimation with Model Selection and Its Application to Covariate Shift Adaptation. In J. C. Platt,
D. Koller, Y. Singer, and S. Roweis (Eds.), Advances in Neural Information Processing Systems
20, pp.1433-1440, 2008.
[9] R. Neal and P. Dayan: Factor Analysis Using
Delta-Rule Wake-Sleep Learning. Neural Computation, Vol.9, pp.1781-1803, 1996.