情報処理学会研究報告
IPSJ SIG Technical Report

補助関数法による Gaussian-Bernoulli RBM の学習アルゴリズムの検討
高宗 典玄1,a)

亀岡 弘和1,2,b)

概要：近年，深層学習 (Deep learning) の有効性は音声認識をはじめ様々な分野で示されており，その重要な一要素として，制約付きボルツマンマシン (RBM) による pre-training がある．実数の観測データを取り扱うための Gaussian-Bernoulli RBM というモデルがあり，その学習アルゴリズムとして，最急降下法を基とした Contrastive Divergence 法が提案されてきた．そこで，本発表ではその学習問題に対して，経験的に高速で安定に収束する補助関数法による更新アルゴリズムを提案する．小規模な人工データによる実験を行い，その挙動に対して提案法と従来法を比較し議論する．

1. はじめに
近年，深層学習 (Deep learning) の有効性は音声認識をはじめ様々な分野で示されている．深層学習において，大量データの下で学習をいかに効率的に行えるかは重要課題の一つである．Deep Neural Network (DNN) の一種である
Deep Belief Network (DBN)[1], [2] は制約付きボルツマンマシン (Restricted Boltzmann Machine; RBM)[3] を多層に積み上げたものと見なせ，各層の RBM の教師なし学習を順次行っていくことにより初期学習を行う方式が DBNの学習において効果的であることが知られている．RBMの学習アルゴリズムとして，Contrastive Divergence (CD)
法 [1], [4] が非常に有名であるが，RBM の学習をいかに効率的に行えるかが DBN の全体の学習にかかる計算時間に直結する．
我々の研究室では，これまで様々な音響信号処理問題における最適化問題に対し，補助関数法と呼ぶ原理に基づく最適化アルゴリズムを導出し，その効果を示してきた（例えば [5]）．そこで，RBM の学習においても補助関数法に基づく学習則を導出することができれば，DBN の初期学習方式として高い効果を発揮する可能性があると考え，
Bernoulli-Bernoulli 型の RBM の補助関数法に基づく学習則を導出してきた [6]．
Bernoulli-Bernoulli 型の RBM はバイナリデータしか取り扱えないが，実際の音声や画像といったデータに用いるためには実数を取り扱う必要がある．そこで，本発表では実数のデータに適用するために Gaussian-Bernoulli 型の12a)b)

東京大学大学院情報理工学系研究科
The University of Tokyo
7-3-1 Hongo, Bunkyo-ku, Tokyo, 113-0033, Japan
日本電信電話株式会社 NTT コミュニケーション科学基礎研究所
NTT Communication Science Laboratories
3-1, Morinosato Wakamiya Atsugi-shi, Kanagawa, 243-0198,
Japan
takamune@hil.t.u-tokyo.ac.jp
kameoka@hil.t.u-tokyo.ac.jp

c 1959 Information Processing Society of Japan⃝

RBM の学習問題に焦点を当て，補助関数法に基づく新しい学習則を提案する．

2. Gaussian-Bernoulli 型制約付きボルツマンマシン
2.1 Gaussian-Bernoulli RBM 学習における目的関数
RBM は，Fig. 1 で示されるように完全 2 部グラフの無向グラフの構造を持ち，観測される状態を可視層，背後にある状態を隠れ層と呼ぶ．このとき，可視層同士や隠れ層同士には結合が無いため “制約付き” と呼ばれる．このとき，可I視層の状態数を I ，可視層の状態を v = {vi } ∈ (−∞, ∞) ，J
隠れ層の状態数を J ，隠れ層の状態を h = {hj } ∈ {0, 1}とすると可視層の状態と隠れ層の状態を確率変数とした同時確率分布は
p (v, h|Θ) =exp (−E (v, h|Θ))
Z (Θ)

(1)

で定義される．ここで，E (v, h|Θ) =∑ v2∑ bV v i2σiσi2ii∫ ∞Z (Θ) =−∞···2−ii∫ ∞∑−∞−∑jbHj hj −∑ Wij vi hj,
σii,j(2)exp (−E (v, h|Θ)) dv1 · · · dvIh(3)()
Hであり，Θ = bV,b,Wや(σ)
は分布パラメータであijiijる．ここで，問題の簡単化のために (σi ) は定数として取り扱う．
RBM の学習問題とは観測される N 個の可視層のデー
タ v (1) , · · · , v (N ) からこのパラメータ Θ を推定することである．
このとき RBM の学習問題に対するよく用いられる目的関数として，次の周辺分布の対数尤度関数が挙げられる．

1

情報処理学会研究報告
IPSJ SIG Technical Report

図 1

ここで，v (m) は Gibbs サンプリングによりサンプリングされた値であり，M はその個数である．本稿では，M = Nとし，各 v (m) は対応する v (n) を初期値としてサンプリングされたものを用いる．
ここで，式 (7)，(8) から Gibbs サンプリングは()
hd−1∼ p hj |v d−1 , Θ ,(12)j()vid ∼ p vi |hd−1 , Θ(13)RBM のグラフ表現()
1 ∑log p v (n) |ΘN n)∑ (1 ∑=logp v (n) , h|Θ .
N nh

J (Θ) =(4)2.2 Contrastive Divergence 法 [1], [4]最急降下法により，式 (4) で表される周辺分布の対数尤度関数 J (Θ) の最大化を考える．J (Θ) を Θ に関して微分すると，∂J(Θ) =∂Θ) ∂E ()1 ∑∑ (−p h|v (n) , Θv (n) , h|ΘN n∂Θ(5)h∫ ∞∫ ∞∑∂E+···(v, h|Θ) dv1 · · · dvIp (v, h|Θ)∂Θ−∞−∞hとなる．このため，最急降下法によるパラメータの更新はΘ ← Θold + ϵ∆cd Θ(6)となる．ただし，ϵ は学習率，∆cd Θ = ∂J/∂Θ である．
ここで，h についての和に関しては厳密に計算しようとすると O(2J ) の計算量となるため，現実的ではない．しかし，RBM の特徴として可視層同士，隠れ層同士の依存関係が無いため，∏p (v|h, Θ) =p (vi |h, Θ) ,(7)ip (h|v, Θ) =∏p (hj |v, Θ)(8)j (1= √exp −2πσip (hj = 1|v, Θ) =3. 補助関数法による RBM の学習アルゴリ
ズム
3.1 補助関数法 1
補助関数法による目的関数 F (x) の最大化問題の最適化
アルゴリズムは，補助変数 y を導入して，任意の x，y でF (x) ≥ F + (x, y) となり，F (x) = miny F + (x, y) となるような下限関数 F + (x, y) を設計して，F + (x, y) を x についての最小化と y についての最小化を交互に行うことである．ここで重要なのは，F + (x, y) を x についての最小化が容易に行え，かつ F + (x, y) がが F (x) によくフィットするように設計できるかであるので，本研究では x の各変数の相互依存をなくすような F + (x, y) を設計することを目指す．
そこで，式 (4) による目的関数を考えたとき，Jensen の不等式から)∑ (1 ∑J (Θ) =logp v (n) , h|ΘN nh()1 ∑∑λn,h log p v (n) , h|Θ≥N nh∑−λn,h log λn,h .
(14)hとなる．ここで，等号の成立は()
λn,h = p h|v (n) , Θという関係がある．ただし，

p (vi |h, Θ)と容易に行うことが可能である．
式 (6) による更新を式 (11) の Gibbs サンプリングによる近似で行う手法を CD 法という．

vi − bVi − σi∑)2 j Wij hj2σi2 (9),1)∑
1 + exp −bHj −i Wij vi((10)

である．そこで，式 (5) の第 1 項に関しては周辺化を行う∑∑
ことにより， h を j にすることが出来る．
しかし，式 (5) の第 2 項に関してはどうしても計算が困難である．そこで，式 (5) の第 2 項は同時確率による期待値計算であることに注目すると，次式のような Gibbs サンプリングによる同時確率の近似を用いることで計算量を削減することが考えられる．
) ()1 ∑ (δ v − v (m) p h|v (m) , Θ (11)p (v, h|Θ) ≈M mc 1959 Information Processing Society of Japan⃝(15)である．式 (14) を整理すると，()
1 ∑∑λn,h E v (n) , h|ΘN nh∑− log Z (Θ) −λn,h log λn,hhJ (Θ) ≥ −(16)となる．ここで，この式の第 2 項について考えると，負の対数関数は凸関数であるので，接線の方程式を用いて下から抑えることが出来る．

− log Z (Θ) ≥ −Z (Θ)− log ζ + 1.
ζ(17)

ここで，等号の成立は接点となるので，

ζ = Z (Θ)(18)

2情報処理学会研究報告
IPSJ SIG Technical Reportとなる．ここで，式 (2) から E (v, h|Θ) はパラメータ Θの各要素に対し線形であるので，
 vi(k = i) σi2
ak (v, h) =,hj(k = I + j) vi hj(k=I+J+J×(i−1)+j)σi(19)
V
(k = i) bi
θk =(20)bH(k = I + j)j W(k = I + J + J × (i − 1) + j)ijとおくと，式 (2) は(21)と表すことができる．
∑
ここで，− exp ( k ak (v, h) θk ) は凹関数であるので，複素 NMF[5] で用いられている Jensen の不等式を用いた補助関数の設計法を用いると，
()
∑
− exp
ak (v, h) θkk∑

βk (v, h)(22)k(× expak (v, h) θk − αk (v, h)βk (v, h))となり，等号の成立は∀βk (v, h) ∈ [0, 1],∑βk (v, h) = 1,(23)kαk (v, h) =ak (v, h) θk− βk (v, h)∑(24)

al (v, h) θllとなる．ここで，βk (v, h) は任意に設計できるので，v ，hに依存しない定数 βk とできる．更に，新たに補助変数として一反復前の値を表す θkold を導入し，補助変数の更新式(24) を式 (22) に代入し，式 (17) を式 (3), (21) 用いて整理すると，− log Z (Θ)
≥−×

∫ ∞−∞

∑···()∫ ∞ ∑ exp − ∑ vi22 + ∑ al (v, h) θoldli 2σli−∞(βk expk−∑k∑∑ v2i−E (v, h|Θ) =ak (v, h) θk22σiik≥−()となる．式 (15)，(16)，(18)，(26) より，Θ̄ = Θold , βk()
とおいたとき，J (Θ) の下限関数 J + Θ, Θ̄ は()J + Θ, Θ̄)
1 ∑∑ (=p h|v (n) , ΘoldN nh)∑ (×ak v (n) , h θkh(ak (v, h) θk − θkoldβkζ))(25)

dv1 · · · dvI− log ζ + 1となる．ここで，式 (1)，(18) から式 (25) は− logZ (Θ)∫ ∞∑∑ ∫ ∞()≥−βk···
p v, h|Θold−∞−∞kh((26)())
ak (v, h) θk − θkold× exp
dv1 · · · dvIβk− log ζ + 1c 1959 Information Processing Society of Japan⃝k∫ ∞βk−∞···∫ ∞∑()
p v, h|Θold(27)−∞h())ak (v, h) θk − θkold
dv1 · · · dvI× exp
βk( )+ C Θ̄( )と定義できる．ただし C Θ̄ は Θ に対して定数の項である．
ここで，式 (27) を θk について微分すると，()∂J + (Θ, Θ̄∂θk) ()
1 ∑∑ (=p h|v (n) , Θold ak v (n) , h
N nh∫ ∞∫ ∞∑(28)()−···
p v, h|Θold ak (v, h)−∞−∞h())(ak (v, h) θk − θkold
dv1 · · · dvI× exp
βkとなる．ここで，式 (28) の右辺の第 2 項は 2.2 節で言及したように厳密に計算することは困難である．そこで，CD法と同様に Gibbs サンプリングによる v の周辺確率の近似を行い，同時確率を式 (11) で近似すると式 (28) は)∂J + (Θ, Θ̄∂θk) ()1 ∑∑ (=p h|v (n) , Θold ak v (n) , h
N nh) () (29)1 ∑∑ (−p h|v (m) , Θold ak v (m) , h
M mh( ()())
ak v (m) , h θk − θkold× expβkとなる．ここで，ak (v, h) ∈ {0, 1} になる場合を除いて∂J + /∂θk = 0 は解析的に解くことは困難である．BernoulliBernoulli 型の RBM では常に ak (v, h) ∈ {0, 1} となっている [6] が，Gaussian-Bernoulli 型の RBM では θk が bHj の2 +2
み ak (v, h) ∈ {0, 1} となる．しかし，∂ J /∂θk は常に負となるため，Newton 法により安定して最大点を求めることが期待できる．また，[6] と同型の補助関数を用いているので，収束を速くするために以下の近似を考える．

βk′ ← βkγ .

(30)

ただし，βk′ は式 (23) を満たさないため，補助関数法における収束性は保証されないことには注意されたい．

3

情報処理学会研究報告
IPSJ SIG Technical Report

以上より補助関数法による 1 つ目の学習アルゴリズム
は，次の 1) 3) を反復することである．1) 補助変数 Θ̄ を求()める．2)Gibbs サンプリングで p v, h|Θold の近似値を求める．3)∂J + /∂θk = 0 となるようにパラメータを更新 (一部 Newton 法を用いる)．

( V )2{1 ∑ ∑ fni
˜
Jr (Θ) ≥ −N n2σi2i∑ tanh (κnj ) ( )2H+
fnj
8κnj
j−

Vi
2 fni
σii
∑ ( (n) 1 )
(37)
H−
hj −
fnj
2j
()2(n)∑  vi I+ log σi  + log (2π)+
22σ2ii

3.2 補助関数法 2
次に，補助関数法を用いた学習アルゴリズムとして，今
度は目的関数が他と異なるものを導出する．ここで用いる
目的関数は可視層に観測データが来たときに，Gibbs サンプリングを 1 回行ったときに元の観測データが再現される確率の対数を尤度としたもので，) ()∑ (1 ∑logp v (n) |h, Θ p h|v (n) , ΘN nh(31)と表される．この式を直接最大化するのは困難であるので，この式に対して，
Jr (Θ) =()h(n) ∼ p h|v (n) , Θ(32)でサンプリングした値を元にJr (Θ)() () (33)
1 ∑≈log p v (n) |h(n) , Θ p h(n) |v (n) , ΘN nと近似することを考える．この右辺を J˜r (Θ) とおくと，式(7)∼(10) より，J˜r (Θ) = −)2({∑ v (n) − f V∑nii
1N n2σi2i∑
I+log σi + log (2π)
2i
∑ ( (n) 1 )H−hj −
fnj
2j+

∑(34)

∑ v (n)+∑(jκnj tanh (κnj )log (cosh (κnj )) −8)}と下から押さえられる．
∑(n)
VH
H
こ こ で ，fni
= bV
i + σij Wij hj ，fnj = bj +()
()
∑(n)
V 2
Hと − fnj
に対して
i Wij vi /σi であるので，− fni
複素 NMF[5] で用いられている Jensen の不等式を用いた補助関数の設計法を用いると)2( VV( V )2bi − αni0− fni ≥ −Vβni0)2((38)(n)V∑ σi Wij hj − αnij−,Vβnijj)2( HH( H )2bj − αn0j− fnj ≥ −Hβn0j)2((n)H∑ Wij vi /σi − αnij
−Hβniji(39)となり，等号の成立は∀ VVβni0 , βnij
∈ [0, 1],(( H )( H ))log exp fnj/2 + exp −fnj/2}

Vβni0+∑Vβnij= 1,(40)

jjVとなる．ただし，fni= bVi + σi∑(n)i Wij vi /σi である．
ここで，

∑(n)
HHj Wij hj ，fnj = bj +H
βn0j+

∑H
βnij
= 1,(41)iVVVαni0=bVi − βni0 fni ,log (exp (x) + exp (−x))≤∀ HHβn0j , βnij
∈ [0, 1],(35)tanh (κ) 2 κ tanh (κ)
x −+ log (2 cosh (κ))
2κ2という不等式を考える．( 右辺 ) − ( 左辺 ) が連続関数で，その極小値が x = ±κ で 0 になり，かつ x → ±∞ で正に発散することからこの不等式が成立することが分かる．また，等号の成立は(n)Vαnij=σi Wij hjVV− βnij
fni,(42)

HHH
αn0i=bHj − βni0 fnj ,(n)Hαnij
=Wij viσiH
H− βnij
fnj(43)である．この不等式を用いると式 (34) はである．
()
よって，式 (37)，式 (38)，式 (39) から下限関数 J˜r+ Θ, Θ̄はc 1959 Information Processing Society of Japan⃝4κ = ±x(36)情報処理学会研究報告
IPSJ SIG Technical Report()2{V()
1 ∑ ∑ bVi − αni0+˜Jr Θ, Θ̄ = −V σ2N n2βni0ii()2(n)V∑ ∑ σi Wij hj − αnij+V σ22βnijiij∑ tanh (κnj ) (+H8κnj βn0jjj

H8κnj βniji∑ v (n)−iσi2i

bVi + σi(n)HWij vi /σi − αnij∑)2(44)(n)Wij hj j()}∑∑ ( (n) 1 )(n)
Hbj +Wij vi /σi−hj −2ji( )+ C Θ̄()VVHHVVHHΘ̄ = κnj , αni0, αnij
, αn0j, αnij, βni0, βnij, βn0j, βnij(45)
( )であり，C Θ̄ は Θ に対して定数の項である．
H˜+
よって，bVi ，bj ，Wij の更新式は ∂ Jr /∂Θ = 0 より)∑ ( V(n)Vα/β+vni0ni0in∑
bV,i ←V1/βni0nnbHj ←∑Wij ←n(46)(n)

HH+ hj/4κnj βn0jtanh (κnj ) αn0j
∑Hn tanh (κnj ) /4κnj βn0j(αVnijV σβniji+(∑ntanh(κnj )αHnij
H4κnj βnij+(n)vi(− 1/2)
,(47)
))

(n)
2hj −1/2σi(n)(n)
hjtanh(κnj )vi
V σ +H σβnij
4κnj βnijii)

(48)
HVVH
は式 (40)，(41)，βnijとなる．ここで，βni0，βnij，βn0jVV，を満たす任意定数であるので，n によらない定数 βi0，βijHHβ0j ，βij とする．そして，新たに補助変数として一反復前，bH,old，Wijold を導入し，補助変数の更の値を表す bV,oldij

新式 (36)，(42)，(43) を代入して整理すると)
β V ∑ ( (n)V,oldV,oldbV+ i0vi − fni,i ← bi
N nH,oldHbH+ β0j∑j ← bj

Wij ← Wijold∑ ((+n)∑ ( (n)h−qnj
jnH,oldn (qnj − 1/2) /fnj(n)V,oldvi − fni(∑(n)n)((49),(50)(51)))

(n)
(n)
(n)
hj + vihj − qnj)()(n) 2vi(qnj −1/2)

hj σi+Vβnij

H σ f H,oldβnij
i nj

V,oldとなる．ただし，fni= bV,old+σii∑H,oldold (n)fnj=j Wij hj ，c 1959 Information Processing Society of Japan⃝old (n)i Wij vi /σi ，qnj = 1/(())
H,old
1 + exp −fnjで(52)となる．
VVHH
この更新式を見てみると，βi0，βij，β0j，βij
は 1 つ目の補助関数法を用いた学習アルゴリズムと同様に学習率を担っていると考えられるため，これらについても γ 乗にする近似を考える．
以上より補助関数法による 3 つ目の学習アルゴリズムは，次の 1) 3) を反復することとなる．1) サンプリングにより(n)hj を求める．2) 補助変数 Θ̄ を求める．3) 式 (49)∼(51)の更新式でパラメータを更新．

4. 動作確認実験となる．ただし，∑ (∑ある．また，このときの補助変数は()
H,oldoldVVHHΘ̄ = bV,old,b,W,β,β,β,βij
ni0
nijn0jnijij)2HbHj − αn0j∑ ∑ tanh (κnj ) (+bH,old+j

2，3 章で説明した各学習アルゴリズムがどのような挙動を示すかについて，可視層の状態数 I = 20，隠れ層の状態数 J = 15 という非常に小さな系で実験を行った．このとき，可視層に入力するデータは平均 0，標準偏差 100 の正規分布し従う乱数で 50 個生成し，生成したそれぞれに対し，平均 0，標準偏差 0.1 の正規分布に従うノイズを足し合わせたものを 100 個づつ用意した．つまり，入力するデータ数は N = 5000 となる．また，σi は一様に 1 とし，学習の反復回数 T は 20000 回とし，各パラメータの初期値は[−1, 1] の一様乱数から生成し，すべてのアルゴリズムで共通の初期値とした．
VVHH
次に，βk ，βi0，βij，β0j，βij
は一様，つまり，1,I + J + IJ
1VV,
βni0= βnij
=1+J1
H
H
βn0j= βnij=
1+Iβk =(53)(54)(55)とし，CD 法の学習率 ϵ や式 (30) に示す γ のスケジューリ
ングを t 回目の反復のとき() t−1ϵend T −1
ϵ (t) = ϵinit,ϵinit() t−1
γend T −1
γ (t) = γinit
γinit(56)(57)とした．このとき，ϵinit = 0.001，ϵend = 0.0001 とし，補助関数法 1 に関しては γinit = 0.03，γinit = 0.01 とし，補助関数法 2 に関しては γinit = 1，γinit = 1 とした．また，
Gibbs サンプリングの回数を 1 回，Newton 法を用いる場合はその反復数を 1 回とした．
MATLAB による実装により計算時間を計ったところ，CD 法と比べ，補助関数法 1 による計算時間も補助関数法
2 による計算時間もおおよそ同じくらいとなった．また，各学習アルゴリズムにより式 (4) に示す対数尤度がどのように遷移したかを Fig. 2 に示し，以下のように定義した再構築誤差 erecosnt が各学習アルゴリズムによりどのように遷移したのかを Fig. 3 に示す．

5

情報処理学会研究報告
IPSJ SIG Technical Report

5. まとめ
本稿では，Gaussian-Bernoulli 型の RBM の学習アルゴ
リズムとして，補助関数法を用いて新たに 2 つの学習アルゴリズムを導出した．そして，小規模の動作確認実験を通して，既存手法と同等以上の性能を見込めることが確認できた．今後の課題として，可視層と隠れ層の状態数が多くなったときや多層に重ねて深層学習を行ったときにどのような挙動を示すかの観察が挙げられる．
謝辞 議論に参加してくださった東大院・情報理工の石原達馬氏に深く感謝する．また，本研究は JSPS 科研費26730100 の助成を受けたものです．
図 2

各学習アルゴリズムにおける反復毎の対数尤度．黒い実線はCD 法を表し，青，赤の実線と破線はそれぞれ提案手法を表す．

参考文献
[1]

[2]

[3]

[4]

[5]

図 3

各学習アルゴリズムにおける反復毎の再構築誤差．黒い実線
は CD 法を表し，青，赤の実線と破線はそれぞれ提案手法を表す．

()= arg max p h|v (n) , Θ ,h()(n)(n)v̄ = arg max p v|h̄ , Θ ,v)
1 ∑ ∑ ( (n)(n)ereconst =vi − v̄i.
NI n i(n)h̄[6]Hinton, G. E., Osindero, S. and Teh, Y. W.: “A fastlearning algorithm for deep belief nets,” Neural Computation, 2006, 18.7, pp. 1527–1554.
Bengio, Y., Lamblin, P., Popovici, D. and Larochelle, H.:“Greedy layer-wise training of deep networks,” Advancesin neural information processing systems, 2007, 19: 153.
Smolensky, P.: “Information processing in dynamicalsystems: Foundations of harmony theory,” MIT Press,
1986, pp. 194–281.
Hinton, G. E.: “Training Products of Experts by Minimizing Contrastive Divergence,” Neural Computation,
2002, 14.8, pp. 1771-1800.
Kameoka, H., Ono, N., Kashino, K. and Sagayama, S.:“Complex NMF: A new sparse representation for acoustic signals,” Acoustics, Speech and Signal Processing,2009. ICASSP 2009. IEEE International Conference on,2009, p. 3437-3440.
高宗 典玄，石原 達馬，亀岡 弘和: “補助関数法による制約付きボルツマンマシンの学習アルゴリズムの検討，” 日
本音響学会 2014 年春季研究発表会講演論文集，2014，No.
1-5-4．

(58)
(59)
(60)

対数尤度による比較をみると，補助関数法 1 は CD 法よりも速く尤度が増大するが，補助関数法 2 は目的関数が対数尤度でないことが起因しているのか初期の反復において尤度の上下が激しくなるといった結果になった．また，再構築誤差による比較を見ると，補助関数法 1 は CD 法よりも若干速く誤差は小さくなり，補助関数法 2 にいたっては大幅に速く誤差は小さくなり，収束先も誤差がより小さいところに収束しそうな結果が得られた．
本来，補助関数法は設計パラメータが少ないという利点があるが，このときは γ という設計パラメータが生じてしまう．しかし，補助関数法の原理より，Gibbs サンプリングの近似が十分ならば γ = 1 のときは安定して収束するので，γ = 1 に近づくようなスケジューリングをすれば良いことから，CD 法の学習率のスケジューリングより設計の指針がはっきりしていると考えられる．

c 1959 Information Processing Society of Japan⃝

6