論文オンライン EM アルゴリズムによる強化学習法の acrobot 制御への応用
吉本潤一郎†

石井信†,††

佐藤 雅昭††

Application of Reinforcement Learning Based on On-Line EM Algorithm toBalancing of Acrobot
Junichiro YOSHIMOTO† , Shin ISHII†,†† , and Masa-aki SATO††

あらまし acrobot は 2 リンク 2 関節からなるロボットで，第 2 関節のみにアクチュエータが存在する．
acrobot は非線形なダイナミクスを持ち，状態変数および制御変数の空間がともに連続であるために，強化学習
によってこの制御を獲得することは難しい課題の一つである．本論文では，acrobot をバランスする制御に強化
学習を応用する．我々の強化学習法は actor-critic アーキテクチャを用いて学習が行われる．actor は現在の状態
に対して制御信号を出力し，critic は将来を通して得られる報酬の累積 (期待報酬) を予測する．actor と critic
はともに正規化ガウス関数ネットワークによって近似され，オンライン EM アルゴリズムを用いて学習が行われる．また，critic の学習を促進させるための新たな手法を導入する．本手法が少ない試行回数から良い制御を獲得できることを計算機シミュレーションの結果により示す．
キーワード

acrobot，強化学習，actor-critic モデル，正規化ガウス関数ネットワーク，EM アルゴリズム

た [5]．本論文では，この手法を acrobot [6], [7] をバラ

1. ま え が きンスさせる制御へ応用することについて述べる．

人間は身体のダイナミクスに関する詳細な知識がな

我々の強化学習法は Barto らによって提案された

くても，試行錯誤を通して多くの複雑な運動制御を獲

actor-critic モデル [8] に基づくアーキテクチャを用い得することができる．強化学習はこのような実際の経て学習が行われる．actor は現在の状態に対して制御

験に基づいた機械学習の手法である．

信号を出力し，critic は将来を通して得られる報酬の強化学習はゲームの戦略獲得 [1], [2] のように有限個

累積 (期待報酬) を予測する．元の actor-critic モデルの状態と有限個の行動を持つマルコフ決定問題に広く

では，TD 誤差と呼ばれる，期待報酬の予測値に対す応用され，成功を収めてきた．一方で，人体やロボッる時間的な誤差を用いて，actor は可能な各行動に対トの運動制御の問題に強化学習を応用することは，対する選択確率を，critic は評価関数を，それぞれ近似

象システムの状態変数および制御変数の空間がともにしていた [8]．この学習法は制御変数の空間が離散的連続であるため前者に比べてはるかに難しい．このよで，actor の出力する可能な制御信号の数が少数であうな場合，近似精度と汎化能力に優れた関数近似器とることを前提としたものである．したがって，制御変高速な学習アルゴリズムが必須である．

数の空間が連続である acrobot の制御への応用が困難

以前に，我々はオンライン EM アルゴリズム [3], [4]である．

に基づく強化学習法を提案し，状態変数および制御変この問題点を解決するために，我々は actor およ

数の空間がともに連続である 2 つのタスクに応用しび critic の近似する対象を元のモデルとは異なるものとし，かつ，学習法も異なるものを用いる．我々の†奈良先端科学技術大学院大学情報科学研究科， 生駒市

学習法では，actor には現在の critic の出力を増大さ

Graduate School of Information Science, Nara Institute of

せるような制御信号を学習信号として用い，critic はScience and Technology, 8916-5 Takayama, Ikoma, Nara 630††

0101, Japan

現在の actor を用いて制御を行った場合の期待報酬

ATR 人間情報通信研究所， 京都府(Q 関数値) を Bellman 方程式 [9] に基づいて学習す

ATR Human Information Processing Research Laboratories,
2-2-2 Hikaridai, Seika, Soraku, Kyoto 619-0237, Japan

電子情報通信学会論文誌

D–IIる．actor と critic の関数近似器にはともに正規化ガウ

Vol. J83–D–II

No. 3

pp. 1–10

2000 年 3 月

1

電子情報通信学会論文誌 2000/3 Vol. J83–D–II No. 3

節にトルクをかけることはできない．図 1 のようにモデル化された acrobot のダイナミクスは以下の 2 階の

M2 g

u

微分方程式で与えられる．

L2
θ2

θ1

L1

M1 g

d11 θ̈1 + d12 θ̈2 + c1 + φ1 = −µ1 θ̇1(1a)d12 θ̈1 + d22 θ̈2 + c2 + φ2 = u − µ2 θ̇2(1b)d11 ≡M1 L21 + M2 (L21 + L22 + 2L1 L2 cos(θ2 ))d22 ≡M2 L22
d12 ≡M2 (L22 + L1 L2 cos(θ2 ))図 1 acrobot
Fig. 1 The acrobot

c1 ≡ − M2 L1 L2 θ̇2 2θ̇1 + θ̇2 sin(θ2 )c2 ≡M2 L1 L2 θ̇12 sin(θ2 )ス関数ネットワーク (normalized Gaussian network,

φ1 ≡ − (M1 L1 + M2 L1 )g sin(θ1 )NGnet) [10] を用いる．NGnet は正規化されたガウス− M2 L2 g sin(θ1 + θ2 )関数により入力空間を滑らかに領域分割し，局所的に線形近似を行うモデルである．

φ2 ≡ − M2 L2 g sin(θ1 + θ2 )TD 学習の枠組みの中で actor の制御信号を連続値

ここで，M1 (M2 )，L1 (L2 )，µ1 (µ2 ) はそれぞれ第 1を取り得るように拡張した先行研究として Morimoto

リンク (第 2 リンク) の質量，長さ，摩擦係数であり，ら [11] がある．ここでも NGnet による actor-critic

acrobot の物理パラメータである．g は重力加速度でアーキテクチャを用いているが，我々の手法と大きくある．θ1 は頂点方向から計った第 1 リンクの角度であ異なる点がある．まず，actor と critic に TD 法に基り，θ2 は第１リンク方向からの第 2 リンクの角度であづく学習法を用いている．もう一つは，NGnet の学る．また，θ̇1 と θ̇2 はそれぞれ第 1 リンクと第 2 リン

習に勾配法を用いていることである．一方で，本手法では NGnet の学習にオンライン EM アルゴリズム [3]クの角速度である．システムは4 次元の連続な状態変
数を持っており，これを xc ≡ θ1 , θ2 , θ̇1 , θ̇2 と表記を用いる．以前の論文 [3] で，オンライン EM アルゴ

する．制御器はすべての状態変数を観測できるが，シ

リズムは勾配法よりも高速に学習でき，時間とともにステムのダイナミクスや物理パラメータに関しては全入出力分布が変化するような動的な環境においても有く分からないものと仮定する．制御器によって発生さ効であることが示されている．actor や critic の関数

れるトルク u は連続であり，|u| <= umax の範囲で制近似もこのような動的な環境における問題の一つであ

限されているものとする．

ると考えられるので，オンライン EM アルゴリズムがacrobot を制御するための課題として，最短時間で有効に働くと期待できる．また，critic の学習を促進

リンクを振り上げるもの [7] や，頂点位置付近でバラさせるための新たな手法を導入する．

ンスさせるもの [6] などが考えられる．本論文では，後本手法が少ない試行回数から良い制御を獲得できることを計算機シミュレーションの結果により示す．

2. Acrobot
本論文で制御対象として取り上げる acrobot [6], [7]について概説する．acrobot は，図 1 で示されるような 2 リンク 2 関節からなるアクチュエータロボットで者の課題を取り上げる．この課題は，システムが強い
非線形性を持っており，状態変数および制御変数の空間がともに連続であるため，強化学習の問題の中でも非常に難しいものの一つである．

3. NGnet とオンライン EM アルゴリ
ズム

あり，鉄棒運動のダイナミクスと類似している．ただ

本節では，後に述べる制御関数と Q 関数の近似にし，腰の部分に対応する第 2 関節にトルクをかけるこ

用いる NGnet [10] とオンライン EM アルゴリズム [3]とができるが，鉄棒を持つ手の部分に対応する第 1 関について説明する．

2

論文／オンライン EM アルゴリズムによる強化学習法の acrobot 制御への応用

NGnet は N 次元の入力ベクトル x から D 次元の• E(Expectation) ステップ : 現在のモデルパラメータ

出力ベクトル y へ変換するモデルで，以下の式で定義の値を θ̄ とする．θ̄ を用いて各観測データ (x(t), y(t))

される．

に対して i 番目のユニットが選ばれる事後確率をベイ

y=

M
X

Gi (x)
PM
j=1 Gj (x)i=1!

ズ則を用いて以下の式で求める．

(Wi x + bi )(2a)Gi (x) ≡(2π)−N/2 |Σi |−1/2

1
× exp − (x − µi )0 Σ−1i (x − µi )2P (x(t), y(t), i|θ̄)
P (i|x(t), y(t), θ̄) = PM(4)
j=1 P (x(t), y(t), j|θ̄)• M(Maximization) ステップ : 事後確率 (4) を用いて，完全事象に対する期待対数尤度 L(θ|θ̄, X, Y ) は以(2b)
こ こ で ，M は NGnet を 構 成 す る ユ ニット の 数 ，下の式で定義される．

L(θ|θ̄, X, Y ) =

T X
M
X

P (i|x(t), y(t), θ̄)i ∈ {1, ..., M } はユニット番号，プライム記号 (0 )t=1 i=1

は転置を表している．Gi (x) は，N 次元中心ベクトル× log P (x(t), y(t), i|θ)(5)

µi と (N × N ) 次共分散行列 Σi を持つ N 次元ガウス関数である．Wi と bi はそれぞれ (D × N ) 次線形

L(θ|θ̄, X, Y ) が増加することは観測データ (X, Y ) に

回帰行列と D 次元バイアスベクトルである．以下で対する対数尤度が増加することを意味している [14]．

は，W̃i ≡ (Wi , bi ) と x̃0 ≡ (x0 , 1) の表記法を用いる．

そこで，L(θ|θ̄, X, Y ) を θ について最大化を行う．最NGnet は入力と出力の組 (x, y) を確率事象 (不完全

大化の必要条件である ∂L/∂θ = 0 の解は以下で与え事象) とする確率モデルの出力期待値として定式化できる．各不完全事象に対しては必ず 1 つのユニットが選ばれるものと仮定し，選ばれたユニットの番号 i を隠れ変数とみなす．このとき，確率モデルは完全事象と呼ばれる (x, y, i) の組に対する確率分布 P (x, y, i)を以下のように与えることによって定義される．

P (x, y, i|θ) =M −1 Gi (x)(2π)−D/2 σi−D1
× exp − 2 (y − W̃i x̃)22σi
ここで，θ ≡nµi , Σi , σi , W̃ii = 1, ..., M

られる [15]．

µi = hxii (T )/h1ii (T )


Σ−1
=
i

(3)

o

はモデル

パラメータの集合である．この確率分布から入力 x が与Rえられた時の出力 y の期待値 E[y|x] ≡ yP (y|x)dyが求められ，これは NGnet の出力と一致する．すな

hxx ii (T )− µi (T )µ0i (T )h1ii (T )


(6b)

−1

W̃i = hyx̃0 ii (T ) hx̃x̃0 ii (T )


σi2 =



(6a)
−1

0

h|y|2 ii (T ) − Tr W̃i hx̃y 0 ii (T )D · h1ii (T )



(6c)
(6d)

ここで，Tr(·) は行列の対角和である．h·ii は事後確
率 (4) に関する重み付き平均であり，以下の式で定義
される．

1 X
f (x(t), y(t))
T t=1
Thf (x, y)ii (T ) ≡わち，確率分布 (3) は NGnet の確率モデルを定義し× P (i|x(t), y(t), θ̄)(7)ているといえる．

T 個 の 不 完 全 事 象 (観 測 デ ー タ) (X, Y ) ≡上記の EM アルゴリズムはバッチ学習であり，モデ{ (x(t), y(t)) | t = 1, ..., T } が与えられると，確率モ

ルパラメータはすべての観測データが与えられた後でデル (3) のパラメータ θ は最尤推定法を用いて決定す更新される．

ることができる．特に，(3) のように隠れ変数を持つ

ここでは，データが逐次的に与えられ，その度ごとモデルに対しては EM アルゴリズム [14] を用いるこにモデルパラメータを更新できるオンライン学習法 [3]とができる．EM アルゴリズムでは，以下の E ステッを示す．なお，Neal らは EM アルゴリズムのインク

プと M ステップを繰り返すことによってモデルパラ

リメンタルな学習法 [12] を提案しているが，この手法

メータの最尤推定量が漸近的に求まる．

は学習データを全て保存してから学習を行う必要があ3電子情報通信学会論文誌 2000/3 Vol. J83–D–II No. 3
−1

は Σ−1
i (t) を求めるた

るため，データがオンライン的に多数与えられる強化

ここで，Λ̃i (t) ≡ [hhx̃x̃0 iii (t)]

学習などへの応用には不向きであると考えられる．

めの補助変数である．Σ−1i (t) は以下の Λ̃i (t) との関

t 番目の観測データが与えられた後のモデルパラ
メータの推定値を θ(t) とする．オンライン EM アル
ゴリズムにおいて，重み付き平均 (7) は以下の式で置き換えられる．

hhf (x, y)iii (t) ≡η(t)

t
X

t
Y

τ =1

s=τ +1

係式から求められる．

Λ̃i (t)hh1iii (t)
=

!

!

Σ−1
i (t)

−Σ−1
i (t)µi (t)−µ0i (t)Σ−1i (t)1 + µ0i (t)Σ−1
i (t)µi (t)

λ(s)

(12)

× f (x(τ ), y(τ ))Pi (τ )(8)

ここで，Pi (τ ) ≡ P (i|x(τ ), y(τ ), θ(τ − 1)) である．パラメータ λ(s) (0 <= λ(s) <= 1) は過去の良くない推定値による効果を徐々に忘却するための忘却係数であ
Pt
−1
Qt
る．η(t) ≡は正規化係数τ =1
s=τ +1 λ(s)であり，学習係数のような役割を果たしている．(8)式より、忘却係数 λ(t) を以下のようにスケジューリングするとオンライン EM アルゴリズムは最尤推定量を求める
ための確率近似法になっていることを示すことができる [3]．
t→∞λ(t) −→ 1 − (1 − a)/(at + b)(13)

ここで，a (1 > a > 0) と b (b > 0) は定数である．
また，データの入出力分布に応じてユニットを効率

η(t)λ(t)hhf (x, y)iii (t) =hhf (x, y)iii (t − 1)
η(t − 1)+ η(t)f (x(t), y(t))Pi (t)

良く配置するために，ユニットの動的操作の機構を導入する [3]．P (x(t), y(t)|θ(t − 1)) は現在のパラメー(9)タ θ(t − 1) の下で確率モデルがデータ (x(t), y(t)) をという関係式が得られる。さらに，1/η(t) = 1 +生成する確率を表している．もし，この確率がある閾

λ(t)/η(t − 1) という関係が成り立つので，これらよ値より小さいならば，現在の確率モデルを使ってそのり，新しい重み付き平均 hh·iii (t) は以下の逐次計算式

データを説明するのは困難である．この場合，新しいユニットをそのデータの説明のために生成する．重みを用いて求めることができる．

付き平均 hh1iii (t) は，i 番目のユニットが t 番目まで

hhf (x, y)iii (t) =(1 − η(t))hhf (x, y)iii (t − 1)+ η(t)f (x(t), y(t))Pi (t) (10)新しい重み付き平均を用いて，新しいモデルパラメー
タは以下の逐次計算式によって求められる．

µi (t) =hhxiii (t)/hh1iii (t)W̃i (t) =W̃i (t − 1) + η(t)Pi (t)のユニットはほとんど使われていないことを意味するので削除する．
間の次元から縮退している場合，Λ̃i (t) は t とともに指数的に発散する．このような入力分布に対処するた





(11b)


hh|y|2 iii (t) − Tr W̃i (t)hhx̃y 0 iii (t)Dhh1iii (t)

(11c)
h
i
1
Λ̃i (t − 1) − Φi (t)Λ̃i (t) =1 − η(t)めに Σ−1に対する正則化を以下のように行う．
i


Σ−1
=
i

(11e)

Ξi (t) + αhh∆2i iii (t)IN
hh1iii (t)

−1

(14a)

Ξi (t) ≡ hhxx0 iii (t) − µi (t)µ0i (t)hh1iii (t) (14b)hh∆2i iii (t) =(11d)

Pi (t)Λ̃i (t−1)x̃(t)x̃0 (t)Λ̃i (t−1)Φi (t) ≡(1/η(t) − 1)+Pi (t)x̃0 (t)Λ̃i (t−1)x̃(t)4いる．もし，この値がある閾値より小さいならば，そユニット i の領域において入力分布の次元が入力空(11a)× y(t) − W̃i (t − 1)x̃(t) x̃0 (t)Λ̃i (t)σi2 (t) =のデータを説明するのにどの程度使われたかを表して

hh|x|2 iii (t) − |µi (t)|2 hh1iii (t)N(14c)

ここで，IN は N × N 次単位行列であり，α は小さな正定数である．(14) に対応する正則化された Λ̃i (t)は (11d) と同様にオンライン的に計算することができる [3]．

論文／オンライン EM アルゴリズムによる強化学習法の acrobot 制御への応用

また，(15)，(16)，(17) 式より，Q 関数は以下の条件

4. 強 化 学 習式を満たさなければならない．

本節では，オンライン EM アルゴリズムを用いた強化学習法 [5] について述べる．以下では，学習システ

Q (xc (t), u(t)) =r (xc (t), u(t))

ムは各時刻において acrobot の状態を観測でき，各状+ γQ (xc (t + 1), Ω (xc (t + 1)))

態と各制御信号の組に対して直接報酬と呼ばれるスカ(18)

ラー値が与えられるものと仮定する．

4. 1 Actor-critic モデル
我々が提案する学習法は actor-critic モデル [8] に基づくアーキテクチャを用いて学習が行われる．actor
は現在の状態に対して制御信号を出力する制御器の役割を果たし，critic は将来にわたって得られる直接報
酬の累積値 (期待報酬) を予測する．元の actor-critic
モデルでは，TD 誤差と呼ばれる，期待報酬の予測値に対する時間的な誤差を用いて，actor は可能な各行動に対する選択確率を，critic は評価関数を，それぞれ近似していた [8]．しかしながら，我々の方法は以下で説明するように元の actor-critic モデルにおける学
習法とは大きく異なる．

actor は現在の状態 xc (t) を観測すると制御関数Ω(·) に 従って 制 御 信 号 u を 生 成 す る ．す な わ ち ，u(t) = Ω(xc (t)) である．その後，現在の状態 xc (t)は u(t) とシステムのダイナミクスに従って xc (t + 1)
へと変化する．この時，学習システムには直接報酬

r (xc (t), u(t)) が与えられる．学習システムの目的は以下で定義される期待報酬を最大化する制御関数 Ω(·)
を求めることである．

V (xc ) ≡∞X

actor-critic モデルでは，critic は Bellman 方程式 (18)を用いて Q 関数の近似を行う．一方，actor は criticの出力を最大化する制御関数を近似するように学習更新される．actor と critic の関数近似器としてはともに NGnet を用いて，それぞれ，actor ネットワーク，

critic ネットワークと呼ぶ．
学習過程は以下のように行われる．現在の状態 xc (t)に対して，現在の actor ネットワークが制御信号 u(t)を出力する．次に，学習システムは次の状態 xc (t + 1)と直接報酬 r (xc (t), u(t)) を観測する．

critic ネットワークはオンライン EM アルゴリズムを用いて学習を行う．critic ネットワークへの入力は状態信号と制御信号の組，すなわち，(xc (t), u(t)) である．ターゲットとなる出力は (18) 式の右辺である．これは時刻 t + 1 の状態 xc (t + 1) に対する現在の actor
ネットワークと現在の critic ネットワークの出力を用いて計算する．
学習システムは，ある一定時間 (tmax ) の間，固定された actor ネットワークを用いて上記の制御を繰り返す．この間に，critic ネットワークは固定さ

γ t r (xc (t), Ω (xc (t)))

t=0

これは Bellman 方程式 [9] と呼ばれている．我々の(15)
xc (0)=xc

れた actor ネットワークに対する Q 関数を近似するようにオンライン学習を行う．また，状態の軌道{ xc (t) | t = 1, 2, ..., tmax } はセーブされる．

ここで，γ(0 < γ < 1) は減衰係数であり，(15) 式がこの制御過程が終了すると，セーブされた状態の軌発散するのを防ぐ．V (xc ) は評価関数と呼ばれ，現在

道に沿って actor の学習が行われる．actor ネットワーの制御関数 Ω(·) に依存している．また，Q 関数は以クの学習にもオンライン EM アルゴリズムを用いる．

下の式で定義される．

actor ネットワークへの入力は xc (t) であり，ターゲッ

Q(xc , u) = r(xc , u) + γV (xc (t + 1))(16)トとなる出力は現在の critic ネットワークの勾配を用いて与えられる以下の utarget である [16]．

ここで，xc (t) = xc と u(t) = u を仮定している．

Q(xc , u) は，制御器が現在の状態 xc に対しては制御
信号 u を出力し，以後の状態に対しては常に制御関数Ω(·) に従って制御信号を出力した場合の期待報酬を表している．(15) 式と (16) 式より，評価関数 V (·) と Q
関数の間には以下の関係が成り立つ．

V (xc ) = Q(xc , Ω(xc ))utarget = Ω(xc (t)) + ²∂Q(xc (t), Ω (xc (t)))∂u(19)

ここで，Q(·) と Ω(·) はそれぞれ現在の critic ネット
ワークと現在の actor ネットワークの出力である．²は小さな正定数を表している．(19) 式の utarget は現(17)

在の actor の出力である制御信号 Ω (xc (t)) よりも現
5

電子情報通信学会論文誌 2000/3 Vol. J83–D–II No. 3

在の critic ネットワークの出力を増加させるより良い制御信号となるように決められている．以上の手続きを学習ステージにおける 1 エピソードと定義する．

4. 2 Critic の学習促進
ここでは，critic の学習を促進するための新たな手法を導入する．この手法は TD 学習における TD(λ)
法に相当するものである [13]．

(15)，(16)，(17) 式より，もし制御信号の系列が固定された制御関数に従って決定的に与えられているな
らば，Q 関数は任意の正整数 n に対して以下の条件式を満たさなければならない．

Q (xc (t), u(t))=

nXγ s−1 r (xc (t + s − 1), u(t + s − 1))s=1+ γ n Q (xc (t + n), u(t + n))≡Rn (t)Initialize the critic network and the actor network
Repeat (for each episode) :1. Initialize xc(0), u(0)2. Repeat (for t = 1, 2, ... , tmax) :(a) Observe xc(t) and r(t)(b) u(t) Ω(xc(t))(c) Train the critic network
input : (xc(t-1), u(t-1))
target : r(t) + γQ(xc(t), u(t))(d) e 1 ; Γ 1 ;q(t-1) 0 ; R(t-1) 0 ;(e) Repeat (for s = 1, 2, ... , t) :q(t-s) q(t-s) + Γr(t)ΓΓγR(t-s) R(t-s) + e [q(t-s) + ΓQ(xc(t), u(t)) - R(t-s)]e λe / [1 + λe]
3. Train the critic network for t = 0, 1, ... , tmax - 1
input : (xc(t), u(t))
target : R(t)4. Train the actor network for t = 0, 1, ... , tmax - 1
input : xc(t)9target : u(t) + ε 9 Q (xc(t), u(t))u(20)

図 2 学習スキーム
Fig. 2 Learning scheme

Rn (t) は xc (t) と u(t) に 対 す る n ス テップ 報 酬と呼ばれる．もし n ステップ報酬が求められるな
ら ば ，Q 関 数 の 近 似 の た め に 有 効 に 使 う こ と が習スキームでは，1 ステップ報酬を用いた critic の学できる．また，もし n ステップ報酬のすべての組習を制御過程と並行してオンライン的に行い，制御過{R1 (t), R2 (t), ..., Rtmax −t (t)} が求められるならば，程が終了した後に，R(t) を用いて再び critic の学習を以下で定義される n ステップ報酬の重み付き平均も Q

バッチ的に行う．
この新しい学習スキームは図 2 のようにまとめら

関数の近似に有効に使うことができる．

R(t) ≡ ηλ (t)

tmax
X−t

れる．ここで，簡潔さのために r (xc (t − 1), u(t − 1))

λn−1
Rn (t)
R

(21)

n=1

を r(t) で表現した．ステップ 2 (e) において e =s
λs−1
R (1 − λR )/(1 − λR ) は学習係数の役割を果たす．

ここで，λR (0 <= λR <= 1) は減衰係数であり，各時刻

また，補助変数 q(t) は直接報酬の重み付き和を表す．

で与えられる報酬による効果を過去に観測された状態
Ptmax −t n−1 −1λRへ伝搬する割合を示す．ηλ (t) ≡n=1

は，e と q(t)，Γ を用いてステップ 2 (e) の逐次計算

は正規化係数である．セーブされた各状態に対する関式で求められる．この逐次計算式の第 2 項は直接報酬

数 R(t) は，観測された報酬と critic ネットワークのr(t) の代りに重み付き直接報酬和 q(t) ，減数係数 γ

出力の系列を用いて求めることができる．critic ネッの代りに Γ = γ s を用いた時の TD 誤差と同じ形をしトワークの近似がまだ十分に行われていない場合，次ていることに注意する．tmax が大きい場合には，スの時刻で与えられる報酬しか用いない 1 ステップ報酬

テップ 2 (e) における反復計算は計算量が大きくなっはターゲットとしてあまり信頼できない．このようなてしまう．しかしながら，ステップ 2 (e) で e が非常

過去の状態 xc (t) と制御信号 u(t) の組に対する R(t)

状況は，特に学習ステージの初期で起こる．このように小さくなった後では，R(s) はもう変化しないことな場合，将来に与えられる多くの報酬を用いる R(t)が分かる．この性質によってこのステップは簡略化での方がターゲットとしてふさわしい．

きる．すなわち，e は指数的に減衰するので，T0 をしかし，系列の最後まで待たなければ R(t) を求め

λTR0 ≈ 0 を満足する整数として，2 (e) の繰り返し計ることはできない．そのために，学習過程を制御過程

算は s = 1, ..., T (T = min(T0 , t)) に対してのみ行えと同時に行っていく場合には，ターゲットとして R(t)ばよい．したがって，新しい学習スキームを用いてもを用いることは適していない．したがって，新しい学

計算量はそれほど増加しない．

6

論文／オンライン EM アルゴリズムによる強化学習法の acrobot 制御への応用する．ダイナミクスは時間間隔 ∆τ の Runge-Kutta



法を用いて積分される．直接報酬 r (xc (t), u(t)) はr̃ (xc (t + 1)) で与えられるものとし，r̃ (xc (t + 1)) は

以下で定義した．

#$





!"








 

r̃(xc ) = exp









−(1 − h)2θ̇2
θ̇2
− 12 − 22
2
2ν1
2ν2
2ν3



−1
(22a)



%'&)(+*,(+-).,/

λ 021)3+4,5
λ 021)3+4,6









 

Fig. 3




×





h≡


L1 cos θ1 + L2 cos(θ1 + θ2 ) + L1 + L2
2(L1 + L2 )



(22b)



図 3 学習スキームの比較
Comparison between learning schemes

ここで，ν1 ，ν2 ，ν3 は正定数である．h ∈ [0, 1] は第2 リンクの先端の高さを正規化したものである．報酬

5. 実
5. 1

験

R の効果r̃(xc ) ∈ [−1, 0] は頂点位置で静止している時に最大となり，acrobot が高い位置に留まりやすくなるように設計されている．

困難なタスクである acrobot の制御について述べる

頂点位置付近から acrobot を放し，actor を用いた

前に，λR の導入による効果を簡単な比較実験によっ制御過程を 7 秒間行う．すなわち，1 エピソードはて示す．実験に用いたタスクは不十分な最大トルクしtmax = 700 ステップである．状態変数の初期値，すか出ない制御器によって倒立振子の振り上げを行うもなわち，θ1 (0)，θ2 (0)，θ̇1 (0)，θ̇2 (0) は 0 を中心としの [18] である．各エピソードは垂れ下がりの位置で静た一様分布からランダムに生成され，その分布の範囲止している状態を初期状態として 7 秒間制御と学習をはエピソードの回数にともなって線形的に広げられる．

行う．報酬は振子の先端の高さに比例して 0 から 1 ま

学習は図 2 で示される過程で行われる．強化学習ではでの値が与えられる．比較する学習方法は，1 ステッ

より良い制御関数を探索するために確率的制御器が必

プ報酬だけを用いる元の学習法と図 2 で示される新し要となることが多いが，この問題においては，acrobot

い学習法である．λR 以外の学習パラメータはすべてのシステムがカオス的な性質を持っているために決定同じものを用いるものとする．

的制御器の方がよいと思われる．確率的制御器を用い

図 3 はそれぞれの学習方法における獲得された報酬

る代わりに，すべての xc と u に対して Q(xc , u) = 0の累積の変化を示したものである．実線は 1 ステップとなるように critic を初期化することによって制御空報酬だけを用いる元の学習法によるもの，破線 (一点間の探索が行われやすいようにした [13]．ここで，す鎖線) は λR = 0.9 (λR = 0.5) の時の新しい学習法にべての直接報酬が 0 以下であるために，真の Q 関数

よるものであり，各データ点は 1 エピソード間に獲得では任意の xc と u に対して Q(xc , u) <= 0 となるこ

された報酬の累積を 20 エピソードごとに平均化したとに注意する．すなわち，この初期化では任意の状態ものである．いずれの場合でも学習の進行にともなっに対する任意の制御信号が最善のものであると仮定して得られる報酬の累積は増加するが，1 ステップ報酬ている．実際に試行された制御信号に対しては Q 関数

だけを用いる手法に比べて，λR を導入したものは学

値が負になるので，より良い制御を探索する時に最善習の初期においても多くの報酬を獲得できており，学の Q 関数値 (=0) を持つまだ試行されていない制御信

習が速く進行することが分かる．

号が選ばれやすくなり，結果として制御空間の探索が5. 2 acrobot の制御
acrobot の物理パラメータとして M1 = M2 = 1.0，

行われることになる．
以上の条件のもとで実験を行った結果として，37 エ

L1 = L2 = 1.0，µ1 = µ2 = 0.01，g = 9.8，

ピソード後に制御器は初期状態として頂点位置に近い

umax = 30.0 を用いた．システムのダイナミクスは (1)場合に acrobot を直立させることができる．図 4 と図式に従って決定的である．学習システムは ∆τ = 0.01

5 は学習後の典型的な制御過程を示している．図 4 で秒ごとにシステムの状態を観測し，制御信号を出力

は acrobot の動きをストロボ的に表している．図 5 は
7

電子情報通信学会論文誌 2000/3 Vol. J83–D–II No. 3
 !#"$#&%')(**+%-,.%*/













!"$#%$'&(*)++,&.-/&+0


























 



1

2



3















 
1














0

0

1





1

  
1























1

1





2

2

2



 

Fig. 4 

図 4 学習後の制御の様子
A typical control process after learning

Fig. 6図 6 難しい初期状態からの成功例
Successful example from a difficult initialstate*)+ ,.- /.10243658799:;0=<>093
!+*,)-/.&)0/'&2135476&98:':;<1>=?1:4
θ ?A@ π
θ BC@ πD@

θ @BA π
θ CDA π

DFEHG9I



E





A

EGFIH:J





"'(



$ %&
#








!"





 

















 




































!#"%$&&' )(図 5 図 4 に対応する状態と制御信号の時系列
Fig. 5 State/control time-series corresponding to
Figure 4

図 7 図 6 に対応する状態と制御信号の時系列
Fig. 7 State/control time-series corresponding to
Figure 6システムの状態と制御信号の時系列を示している．こルよりも適している [17]．一方で，局所モデルで必要

こで，点線と破線は，それぞれ，θ1 /π ，θ2 /π を，実となるユニットの数は，一般に，入力次元が増加する

線は actor によって生成された制御信号 u/umax を表につれて指数的に増加する．にもかかわらず，本手法している．制御器は第 2 リンクの振動を徐々に減衰さはユニットの動的操作の機構によってユニットを効率せ最後には頂点位置で静止させる．また，学習システ

良く配置できるために，システムの次元に比べて必要

ムの初期状態によっては，図 6 と図 7 に示すような異となるユニットの数はあまり増加しない．したがって，なった制御を学習する．図 6 の制御過程の初期では，本手法は高次元のシステムを制御するような問題に対第 1 リンクは大きな初期速度のために回転して倒れてしても有効であると期待できる．本手法では，37 エピ

しまう．しかし，actor は 2 つのリンクを振り上げるソードの学習を行うのに，ワークステーション DEC

ような制御信号を出力し，最後には頂点位置付近でリAlpha Station 600 au を用いて 135 秒かかった．実

ミットサイクル的に振動させながらバランスを保つ．

際のシステムの物理的な時間は 260 秒である．この学

この実験で，学習後の actor ネットワークと critic

習時間は十分に短いものであり，実問題に対しても応

ネットワークが必要とするユニットの数は，それぞれ，

38 個と 54 個である．オンラインでの強化学習において学習を安定して行うためには，NGnet のような局所モデルの方が多層パーセプトロンのような大域モデ
8用可能であると考えられる．

6. む す び
本論文では，オンライン EM アルゴリズムを用いた

論文／オンライン EM アルゴリズムによる強化学習法の acrobot 制御への応用

actor-critic アーキテクチャを acrobot をバランスさせる制御の問題に応用した．また，critic ネットワー

Computation, 1, pp. 281-294, 1989[11]

dynamic motor sequence: Learning to stand up”, in

クの学習を促進させるための手法を新しく導入した．

Proceedings of IEEE/RSJ International Conference

計算機シミュレーションの結果によれば，本手法は少on Intelligent Robots and Systems, 3, pp. 1721-1726,

ない試行回数から acrobot に対する良い制御を獲得できる．強化学習法を現実のシステムの自動制御の問題

1998
[12]

variants,” in Learning in Graphical Models, Jordan

数近似器と高速な学習アルゴリズムが必須である．本M. I., eds., pp. 355-368, Kluwer Academic Publishers,
Dordrecht, 1998

論文の実験結果は我々の手法がこれらの特徴を持って謝辞

本研究は、科学技術庁の平成 11 年度科学技術

Neal, R. M. & Hinton, G. E., “A view of the EM algorithm that justifies incremental, sparse, and otherに応用するためには，近似精度と汎化能力に優れた関いることを示すものであると考えられる．

Morimoto J. & Doya, K., “Reinforcement learning of[13]

Sutton, R. S., & Barto, A. G., Reinforcement Learn-[14]

Dempster, A. P., Laird, N. M., & Rubin, D. B.,

ing, MIT Press, Cambridge, MA, 1998

振興調整費による「ヒトを含む霊長類のコミュニケー“Maximum likelihood from incomplete data via theションの研究」の一環として行なわれた。本研究に関EM algorithm,” Journal of Royal Statistical Society

して、国際電気通信基礎技術研究所 (ATR) の銅谷賢

B, 39, pp. 1-22, 1977
[15]

治博士、および論文査読委員のコメントに感謝する。
文
[1]
[2]

tive model for mixtures of experts,” in Advances in
Neural Information Processing Systems 7, Tesauro,

献G., Touretzky, D. S., & Leen, T. K., eds., pp. 633-

Tesauro, G., “Practical issues in temporal difference
learning,” Machine Learning, 8, pp. 257-277, 1992
Yoshioka, T., Ishii, S., & Ito, M., “Strategy acquisi-

640, MIT Press, Cambridge, MA, 1995
[16]

Intelligent Control, White D. A., & Sofge D. A., eds.,

ment learning,” IEICE Transactions on Informa[3]Sato, M., & Ishii, S., “On-line EM algorithm for

pp. 259-282, Van Nostrand Reinhold, New York, 1992
[17]

function,” in Advances in Neural Information Pro-

tation, 12(2), 2000

cessing Systems 7, Tesauro, G., Touretzky, D. S.,

石井信，佐藤雅昭， 正規化ガウス関数ネットワーク，Mix-& Leen, T. K., eds., pp. 369-376, MIT Press, Cam-ture of experts と EM アルゴリズム， 日本神経回路学

会誌，6(1)，pp. 30-40，1999[5]Sato, M., & Ishii, S., “Reinforcement learning basedon on-line EM algorithm,” in Advances in Neural
Information Processing Systems 11, Kearns, M. S.,
Solla S. A., & Cohn, D. A., eds., pp. 1052-1058, MIT
Press, Cambridge, MA, 1999

[6]

Hauser, J., & Murray, R. M., “Nonlinear controllers

Boyan, J. A. & Moore, A. W., “Generalization in reinforcement learning: Safely approximation the value

the normalized Gaussian network,” Neural Compu[4]Sofge, D. A., & White, D. A., “Applied learning optimal control for manufacturing,” in Handbook oftion for game othello based on min-max reinforcetion and Systems, to appear

Xu, L., Jordan, M. I., & Hinton, G. E., “An alterna-bridge, MA, 1995
[18]

Doya, K., “Temporal difference learning in continuous time and space” in Advances in Neural Information Processing Systems 8, Touretzky, D. S., Mozer,
M. C., & Hasselmo M. E., eds., pp. 1073-1079, MIT
Press, Cambridge, MA, 1996

（平成 11 年 7 月 1 日受付，10 月 1 日再受付）

for non-integrable systems: The acrobot example,”in Proceedings of the 1990 American Control Conference, 1, pp. 669-671, San Diego, CA, USA, 1990
[7]

Sutton, R. S., “Generalization in reinforcement learning: Successful examples using sparse coarse coding,”
in Advances in Neural Information Processing Systems 8, Touretzky, D. S., Mozer, M. C., & Hasselmo
M. E., eds., pp. 1038-1044, MIT Press, Cambridge,
MA, 1996[8]

Barto, A. G., Sutton, R. S., & Anderson, C. W.,“Neuronlike adaptive elements that can solve difficult

吉本潤一郎
1998 年関西大学総合情報学部卒．同年

奈良先端科学技術大学院大学情報科学研究科博士前期課程に入学．現在に至る．主に，ニューラルネットワークと強化学習に興味を持つ．

learning control problems,” in IEEE Trans. Systems,
Man, and Cybernetics, SMC-13, pp. 834-846, 1983
[9]

Bellman, R. E., Dynamic Programming, Princeton[10]

Moody, J., & Darken, C. J., “Fast learning in

University Press, Princeton, 1957
networks of locally-tuned processing units,” Neural9電子情報通信学会論文誌 2000/3 Vol. J83–D–II No. 3

石井

信

（正員）

昭 61 東大・工卒．昭 63 同大学院修士課
程 (情報工学) 了．工博．(株) リコー中央研究所研究員，ATR 人間情報通信研究所研究員を経て，現在，奈良先端科学技術大学院大学情報科学研究科 助教授

佐藤

雅昭

（正員）

昭 50 阪大・理・物理学科卒．昭 55 阪
大・理・博士課程・物理学専攻了．ニューヨーク大学助手，フロリダ大学助手，ATR
視聴覚機構研究所主任研究員を経て，平 5
より ATR 人間情報通信研究所主任研究員．
非線形力学系，カオス，ニューラルネット
ワーク，強化学習，ロボット制御，統計的学習理論の研究に従事．

10