209

システム制御情報学会論文誌，Vol. 16, No. 5, pp. 209–217, 2003

論文

連続力学システムの自動制御のためのオンライン EM 強化学習法*
吉本潤一郎 †§ ・石井信 †§ ・佐藤 雅昭 ‡§On-Line EM Reinforcement Learning for Automatic Control ofContinuous Dynamical Systems*
Junichiro Yoshimoto†‡§ , Shin Ishii†§ and Masa-aki Sato‡§
In this paper, we propose a new reinforcement learning (RL) method for dynamical systems
that have continuous state and action spaces. Our RL method has an architecture like the actorcritic model. The critic tries to approximate the Q-function, and the actor tries to approximate astochastic soft-max policy dependent on the Q-function. An on-line EM algorithm is used to train
the critic and the actor. We apply this method to two control problems. Computer simulations in
two tasks show that our method is able to acquire good control after a few learning trials.

1.

はじめに

近似器が必要である．また，ロボットなどの高次元システムに応用するためには，高速な学習アルゴリズムが必

強化学習は実際の経験と報酬に基づいて自律的に最適須である．第二に，たとえ評価関数を正確に近似できた行動を獲得する機械学習の手法である．強化学習はゲーとしても，行動の空間が連続であるために，評価関数を

ムの戦略獲得のように有限個の状態と有限個の行動を持最大化する最適行動を求めることが困難である．本論文

つ様々なマルコフ決定問題に応用され，成功を収めてきでは，このような連続システムに対する統計的学習法をた [1,2]．一方で，実世界では人体やロボットの運動制御用いた強化学習法を提案する．

のように状態および行動の空間がともに連続であるよう提案する強化学習法は actor-critic モデルに基づくアーなシステムに関する問題が多く存在する．これらの問題

キテクチャ[3] を用いる．critic は現在の状態と行動に対は以下で述べる理由のために前者の問題に比べてはるか

して将来的に得られる報酬の累積 (Q 関数) を近似予測に難しい．第一に，システムの状態数および行動数が少ない時には評価関数をテーブルを用いて表現できるが，状態および行動の空間が連続である場合には評価関数をする予測器である．ただし，Q 学習 [4] のように最適 Q
関数を近似するのではなく，SARSA[5] のように現在のactor に依存した Q 関数を近似する．actor は制御器であり，critic が近似した Q 関数値を大きくする行動ほどテーブルで表現することはできない．この場合，評価関数を表現するためには近似精度と汎化能力に優れた関数

高い確率で選択するような確率的行動関数を近似する．
∗

原稿受付 2002 年 6 月 19 日†
奈良先端科学技術大学院大学 情報科学研究科

actor と critic はいずれも正規化ガウス関数ネットワーク(Normalized Gaussian network, NGnet)[6] を用いて表現される．NGnet は正規化されたガウス関数により入Graduate
School of Information Science, Nara Institute of Scienceand Technology; 8916-5 Takayama-cho, Ikoma-shi, Nara
630-0101, JAPAN‡ATR 人間情報科学研究所 ATR Human Information Science Laboratories; 2-2-2 Seika-cho, Soraku-gun, Kyoto
619-0237, JAPAN§
科学技術振興事業団 CREST 銅谷プロジェクト CREST
Doya Project, Japan Science and Technology Corporation
Key Words : reinforcement learning, normalized Gaussian
network, stochastic model, EM algorithm, actor-critic
model.

力空間を滑らかに領域分割し，局所的に線形近似を行うモデルである．また，NGnet は確率モデルとして定式化できるため actor の確率的関数の近似に用いることができる．actor と critic はともに NGnet の確率モデルに基づいてオンライン EM アルゴリズムによって学習が行われる．
我々の学習法は元の actor-critic モデルのものと以下のように異なる．元の actor-critic モデルにおける学習スキームでは，期待報酬の予測値に対する時間的な誤差– 17 –

210

システム制御情報学会論文誌 第 16 巻

第5号

(2003)

ベクトルである．以下では，W̃i ≡ (Wi ,bi ) と x̃0 ≡ (x0 ,1)(TD 誤差) を用いて，critic は現在の状態に対する期待報酬 (評価関数) を，actor は可能な行動に対する選択確率を近似していた [3]．この学習法は，各状態において選択の表記法を用いる．

可能な行動数が少数であることを想定し，テーブルを用

NGnet は入力と出力の組 (x,y) を確率事象とする確率モデルの出力期待値として定式化できる [13]．各事象にいて各状態に対する評価関数や行動選択確率を表現する

対して一つのユニットが選ばれるものと仮定し，選ばれために，連続的な行動空間を持つ課題への適用が困難でたユニットの番号 i を隠れ変数とみなす．このとき，確ある．この問題点に対する一つの解決策として，関数近率モデルは (x,y,i) の組に対する確率分布 P (x,y,i) を以似器を導入し，TD 誤差に関する確率勾配法に基づいて下のように与えることによって定義される．

学習を行う手法が提案されている [7]．Doya らはこの枠

P (x,y,i|θ) = M −1 Gi (x)(2π)−D/2 σi−D·¸
12×exp − 2 (y − W̃i x̃)
2σi

組で NGnet を用いた連続システムのための actor-critic
モデルを提案している [8,9]．これに対して，我々の手法ではオンライン EM アルゴリズム [6] に基づく学習法を(2)

提案する．オンライン EM アルゴリズムは確率勾配法よ

ここで，θ ≡ {µi ,Σi ,σi , W̃i |i = 1,...,M } はモデルパラ

りも高速な学習アルゴリズムであり，時間とともに入出メータである．この確率分布から入力 x が与えられた時

力分布が変化するような動的な環境においても有効であの出力 y の期待値 Eθ [y|x] ≡ yP (y|x,θ)dy が求められ，ることが示されている [6]．actor や critic は相互依存でこれは NGnet の出力と一致する．すなわち，確率分布あるため，それらに対する関数近似も動的な環境におけス [12] が用いられていた．これは本質的には勾配法と同(2) は NGnet の確率モデルを定義している．以下では，(1) 式に基づいて決定論的な出力を与えるモデルを決定論的 NGnet とよび，確率分布 (2) 式に基づいて確率的な出力を与えるモデルを確率的 NGnet とよぶ．
T 個の観測データ (X,Y ) ≡ {(x(t),y(t)) | t = 1,...,T }が与えられると，モデルパラメータ θ は EM アルゴリズ
ム [14] を用いた最尤推定法によって決定することができる．EM アルゴリズムでは，以下の E ステップと M ス

じであり，オンライン EM アルゴリズムの真に有効な適テップを繰り返すことによってモデルパラメータの最尤用になっていなかった．一方で，新しく提案する手法で推定量が漸近的に求まる．

は actor の近似対象を Q 関数に依存する確率分布とし，これを推定するための新たな手法を導入する．これはオE(Expectation) ステップでは，現在のモデルパラメー
タ θ̄ を用いて，各観測データ (x(t),y(t)) に対して i 番目

ンライン EM アルゴリズムを修正することによって実現のユニットが選ばれる事後確率を以下で求める．

Rる問題であると考えられ，オンライン EM アルゴリズムが有効に働くと期待できる．
さらに，我々の以前の研究 [10,11] とも以下のように異なる．以前の手法では，actor のための学習信号を criticの勾配信号に基づいて生成することにより，現在の行動よりも良い行動を学習するというヒューリスティク

することができる．
新しく提案する強化学習法の性能を調べるために，本手法を二つの最適制御問題に応用した．計算機シミュ
レーションの結果として，いずれの課題においても本手P (x(t),y(t),i|θ̄)
P (i|x(t),y(t), θ̄) = PM
j=1 P (x(t),y(t),j|θ̄)

事後確率 (3) を用いて，完全事象に対する期待対数尤度

L(θ|θ̄,X,Y ) は以下で定義される．

法が少ない試行回数から良い制御を獲得できることが示
された．

2.

L(θ|θ̄,X,Y ) =NGnet とオンライン EM アルゴリズム

T X
M
X

P (i|x(t),y(t), θ̄)

t=1 i=1

×logP (x(t),y(t),i|θ)NGnet[6] は N 次元入力ベクトル x を D 次元出力ベク
トル y へ変換するモデルで以下で定義される．
!
ÃMX
Gi (x)(Wi x + bi )
(1a)
y=
PM
j=1 Gj (x)i=1−1/2
Gi (x) ≡ (2π)−N/2· |Σi |¸
1
0 −1
×exp − (x − µi ) Σi (x − µi )
2

(3)

(4)

M(Maximization) ステップでは，L(θ|θ̄,X,Y ) を θ について最大化する．最大化の必要条件である ∂L/∂θ = 0 の解は事後確率に関する重み付き平均 h1ii (T )，hxii (T )，hxx0 ii (T )，hy x̃0 ii (T )，h|y|2 ii (T ) を用いて求めることができる [13]．ここで，h·ii (T ) は事後確率 (3) に関する重(1b)

み付き平均であり，以下で定義される．
T

ここで，M は NGnet を構成するユニットの数，i ∈

hf (x,y)ii (T ) ≡{1,...,M } はユニット番号，プライム記号 (0 ) は転置を表している．Gi (x) は，N 次元中心ベクトル µi と (N ×N )次共分散行列 Σi を持つ N 次元ガウス関数である．Wi と
bi はそれぞれ (D ×N ) 次線形回帰行列と D 次元バイアス

1X
f (x(t),y(t))P (i|x(t),y(t), θ̄)
T t=1
(5)

上記の EM アルゴリズムはバッチ学習であり，モデル– 18 –

211

吉本・石井・佐藤：連続力学システムの自動制御のためのオンライン EM 強化学習法

パラメータはすべての観測データが与えられた後で更新

く配置するために，ユニットの動的操作の機構を導入すされる．以下では，逐次的にデータが与えられ，その度る．P (x(t),y(t)|θ(t − 1)) がある閾値より小さい時，現ごとにモデルパラメータを更新できるオンライン EM ア

在の確率モデルを使ってそのデータを説明するのは困難

ルゴリズム [6] を示す．

であるので，新しいユニットを生成する．重み付き平均

t 番目の観測データが与えられた後のモデルパラメータ

hh1iii (t) がある閾値より小さい時，ユニット i はほとんの推定値を θ(t) とする．E ステップでは，直前までのデー

ど使われていないことを意味するので削除する．この動タに基づくモデルパラメータ θ(t−1) を用いて，t 番目の的操作機構は強化学習のように近似の対象となる関数がデータに対する事後確率 Pi (t) ≡ P (i|x(t),y(t),θ(t − 1))

時間とともに変化する環境において有効である [6]．まを (3) 式にしたがって求める．M ステップでは，事後確た，データが高次元空間の一部に局在しているような場率に関する重み付き平均 (5) が以下で置き換えられる．

合に効率の良い関数近似を可能にすると考えられる．

hhf (x,y)iii (t) ≡ η(t)

Ã t
t
X
Y
τ =1

!

3.

λ(s)

本節では，オンライン EM アルゴリズムを用いた新しs=τ +1×f (x(τ ),y(τ ))Pi (τ )オンライン EM 強化学習法(6)

い強化学習法を提案する．我々の強化学習法は状態およパラメータ λ(s) (0 ≤ λ(s) ≤ 1) は過去の良くない推定

び行動の空間が連続である決定論的力学系の最適制御問

値による効果を徐々に忘却するための忘却係数である．

題を想定している．学習システムは各時刻において対象

hP
t

³Q

´i−1
t
η(t) ≡
は正規化係数であり，
τ =1
s=τ +1 λ(s)学習係数のような役割を果たしている．重み付き平均 (6)式は，以下の逐次計算式を用いて求めることができる．

−1

η(t) = (1 + λ(t)/η(t − 1))

学習システムは現在の状態 xc (t) を観測すると policy(7b)とよばれる行動関数 Ω(·) にしたがって行動 u(t) を決定する．すなわち，u(t) = Ω(xc (t)) である．その後，現在の状態 xc (t) は行動 u(t) と制御対象のダイナミクスにしルパラメータは以下の逐次計算式によって更新される．

たがって決定論的に xc (t + 1) へと変化するものとする．
この時，学習システムには直接報酬 r(xc (t),u(t)) が与えµi (t) = hhxiii (t)/hh1iii (t)
(8a)
h
i
1
Λ̃i (t − 1) − Φi (t)(8b)Λ̃i (t) =1 − η(t)Pi (t)Λ̃i (t − 1)x̃(t)x̃0 (t)Λ̃i (t − 1)
Φi (t) ≡(1/η(t) − 1) + Pi (t)x̃0 (t)Λ̃i (t − 1)x̃(t)W̃i (t) = W̃³i (t − 1) + η(t)Pi (t) ´× y(t) − W̃i (t − 1)x̃(t) x̃0 (t)Λ̃i (t)³´hh|y|2 iii (t) − Tr W̃i (t)hhx̃y 0 iii (t)られる．強化学習の目的は以下で定義される期待報酬を最大化する policy Ω(·) を求めることである．
Ω

V (xc ) ≡−1

(10)xc (0)=xc

policy Ω(·) に対する評価関数とよばれている．
我々が提案する学習法は actor-critic モデル [3] に基づ
くアーキテクチャを用いる．actor は現在の状態に対して制御信号を出力する制御器である．critic は将来にわたって得られる直接報酬の累積値 (期待報酬) を予測するは

Σi−1 (t) を求めるための補助変数である．Σi−1 (t) は以下の Λ̃i (t) との関係式から求められる．

−Σi−1 (t)µi (t)1 + µ0i (t)Σi−1 (t)µi (t)¯¯¯
γ r(xc (t),Ω (xc (t)))¯¯t

ここで，γ(0 < γ < 1) は減衰係数である．V Ω (xc ) は(8d)

ここで，Tr(·) は対角和を表す．Λ̃i (t) ≡ [hhx̃x̃0 iii (t)]

∞
X
t=0

(8c)

Dhh1iii (t)問題設定と actor-critic アーキテクチャ(7a)(7) 式で求められた新しい重み付き平均を用いて，モデΣi−1 (t)−µ0i (t)Σi−1 (t)定する．また，制御対象のダイナミクスに関する事前知

3.1+η(t)f (x(t),y(t))Pi (t)Λ̃iÃ(t)hh1iii (t) =て直接報酬とよばれるスカラー値が与えられるものと仮識はないものとする．

hhf (x,y)iii (t) = (1 − η(t))hhf (x,y)iii (t − 1)

σi2 (t) =システムの状態を観測でき，各状態と各行動の組に対し予測器である．しかしながら，我々の学習スキームは以下で説明するように元の actor-critic モデルとは大きく

!

異なる．

3.2

critic の学習

critic は以下で定義される Q 関数を学習近似する．

(9)
t→∞

QΩ (xc ,u) = r(xc ,u) + γV Ω (x+c )

忘却係数 λ(t) を λ(t) −→ 1 となるようなあるスケジュー
リングを行うとオンライン EM アルゴリズムは最尤推定(11)

ここで，x+
c は xc = xc (t) と u = u(t) を仮定した時の次の量を求めるための確率近似法になっていることを示すこ

状態 xc (t + 1) を表している．QΩ (xc ,u) は，現在の状態とができる [6]．

xc に対しては行動 u を選択し，かつ，以降の状態に対しては常に policy Ω(·) にしたがって行動を選択した場合

また，データの入出力分布に応じてユニットを効率良– 19 –

212

システム制御情報学会論文誌 第 16 巻

第5号

(2003)

を取るにつれて Q(xc ,u) が大きな値を持つ行動 u ほど高の期待報酬を表している．(10) 式と (11) 式より，policyΩΩ(·) が決定論的である場合には評価関数 V (·) と Q 関

い確率で選択するグリーディな policy となる．特に，逆数の間に以下の関係が成り立つ．

温度が β → ∞ の極限では (14) 式の決定論的 policy と等

V Ω (xc ) = QΩ (xc ,Ω(xc ))価になる．したがって，β を適切に調節することによっ(12)て前述した二つの問題を同時に解決することができる．
一般に (15) 式の分母の積分計算は困難であるが，確率的(10)，(11)，(12) 式より，Q 関数は任意の x(t) と u(t) に対して，Ω(·) に依存した Bellman 方程式とよばれる以下の条件式を満たさなければならない [15]．

NGnet P (xc ,u|θ) 1 を用いて以下のように近似することができる．
条件付き確率 (15) は状態と行動の組 (xc ,u) に対する以QΩ (xc (t),u(t)) = r(xc (t),u(t))

下の同時確率分布から導き出すことができる (付録 1.)．

+γQΩ (xc (t + 1),Ω (xc (t + 1)))

PQ,ρ (xc ,u) =(13)

exp[βQ(xc ,u)]ρ(xc )
ZQ,ρ

(16)

critic は決定論的 NGnet を用いて表現され，(13) 式のBellman 方程式を満たすようにオンライン EM アルゴリ

ここで，ρ(xc ) は状態 xc に関する未知の確率分布であズムを用いて学習が行われる．

である．このことから，actor を表現する確率的 NGnet

R

る．ZQ,ρ ≡ dxc duexp[βQ(xc ,u)]ρ(xc ) は正規化係数

3.3

actor の学習
actor は観測された状態 xc に対して行動 u を決定する
ための policy を学習近似する．もし，critic NGnet によって表現されている Q(xc ,u) が現在の policy Ω を用いた時の QΩ (xc ,u) を正確に表現していると仮定すると，
policy Ω より良い policy Ωnew は以下で与えられる．
Ωnew (xc ) = argmax Q(xc ,u), for any xc
u

は (16) 式で定義される同時確率分布の近似を行う．
確率的 actor NGnet P (xc ,u|θ) と確率分布 PQ,ρ (xc ,u)の間の距離を以下の KL-divergence で与える．

·¸
PQ,ρ (xc ,u)dxc duPQ,ρ (xc ,u)log
P (xc ,u|θ)Z= − dxc duPQ,ρ (xc ,u)logP (xc ,u|θ)Z

KL(θ) ≡

(14)+(θ-independent term)

しかしながら，critic NGnet は非線形モデルであるために，(14) 式の右辺を求めることは困難である．また，学習初期のように critic NGnet によって表現されている関数が真の QΩ とかなり異なることが予測される場合には，様々な状態・行動空間を探索することによって，

critic の学習を促す必要がある．前者の問題点について
は，Q 関数の勾配情報や TD 誤差情報を用いて逐次的に
policy を改善する手法が提案されている [12,8] が，本質的には山登り法となるため Q 関数が単峰でない場合にKL(θ) は，P = PQ,ρ のとき，すなわち，確率的 actor
NGnet が soft-max policy (15) を表しているときに最小となる．したがって，actor NGnet の学習の目的はKL(θ) の最小化，すなわち，以下の目的関数を actor のモデルパラメータ θ に関して最大化することである．
Z
J(θ) ≡ dxc duPQ,ρ (xc ,u)logP (xc ,u|θ)(18)
確率的 actor NGnet には隠れ変数 i が存在する．このとき，隠れ変数に関する事後分布を用いた以下の期待目

は悪い局所解に陥る危険性がある．さらに，この手法を的関数を定義する．

用いて空間探索の問題点を解決するためには，行動選択の際に適当なノイズを付加するといったヒューリスティ
クスを導入する必要がある．一方で，以下で提案する手Z
JC(θ|θ̄) ≡MX

P (i|xc ,u, θ̄)×logP (xc ,u,i|θ)

確率的 policy を定義し，この確率分布を近似する確率的(19)

JC(θ|θ̄) の積分は以下の方法を用いて近似することができる．状態と行動の軌道 X ≡ {(xc (t),u(t))|t = 1,...,T }が分布 ρ(xc ) とパラメータ θ0 を持つ固定された確率的
actor NGnet から独立に得られたものと仮定する．すな
わち，(xc ,u) ∼ ρ(xc )P (u|xc ,θ0 ) である．このとき，任意の関数 f (xc ,u) の期待値は以下のデータ平均を用いてNGnet を actor として用いることによって，上記の二つの問題点の解決を試みる．

soft-max policy π は与えられた状態 xc に対して制御
信号 u が選択される条件付き確率を以下のように与えることによって定義される．

exp[βQ(xc ,u)]duexp[βQ(xc ,u)]dxc duPQ,ρ (xc ,u)i=1

法では，Q 関数に依存した soft-max policy とよばれる

π(u|xc ) = R

(17)

(15)

近似することができる．

Z

E [f (xc ,u)] ≡ここで，β (0 < β < ∞) は逆温度とよばれるパラメータである．policy π は，β = 0 の時にはすべての行動が等1

確率で選択される探索的な policy となり，β が大きい値

dxc duρ(xc )P (u|xc ,θ0 )f (xc ,u)

ここで，(2) 式における x と y は，それぞれ xc と u に置き換えられている．

– 20 –

吉本・石井・佐藤：連続力学システムの自動制御のためのオンライン EM 強化学習法
T≈1X
f (xc (t),u(t))
T t=1

213

オンライン学習の場合に注意しなければならないのは，(20)

軌道 X をサンプリングするためのモデルパラメータ θ0
も時間とともに変化することである．このため，θ0 の時(20) 式は T → ∞ の極限では等式となる．(16) 式，(19)式，(20) 式より，JC(θ|θ̄) は観測された X と現在の Q

間変化が早い場合は (21) 式の近似が悪くなる．この問題関数を用いて以下で近似できる．

設定することによって θ0 の変化を遅くすることである

T X
M
X

が，これは actor の学習の進行を遅くすることと同義でJC(θ|θ̄,X ) ≈点を回避する一つの方法は，学習係数 η(t) を小さな値に

1 1h̄(i|xc (t),u(t), θ̄)T ZQ,ρ t=1 i=1×logP (xc (t),u(t),i|θ)P (i|xc ,u, θ̄)h̄(i|xc ,u, θ̄) ≡exp[βQ(xc ,u)]P (u|xc ,θ0 )ある．一方，一回の学習エピソードでサンプリングされる軌道データ数がそれほど多くない場合には，エピソー(21a)ドの軌道生成の際には固定した θ0 を用いて制御し，エ(21b)

ピソード後にその軌道データを用いて学習しても，それほど計算資源を必要としない．このセミオンライン的な

ここで，(21a) 式は (4) 式と類似していることに注意す

学習方法によれば，エピソード内では，critic は固定しる．(4) 式の事後確率に対応する係数 h̄(i|xc (t),u(t), θ̄)は現在のモデルパラメータ θ̄，現在の critic の出力値，および，観測軌道 X を生成したモデルパラメータ θ0 を持つ actor NGnet を用いて求めることができる．また，JC(θ|θ̄) の増加が J(θ) の増加の十分条件となっている
こと，すなわち，JC(θ|θ̄) ≥ JC(θ̄|θ̄) ⇒ J(θ) ≥ J(θ̄) を示すことができる (付録 2.)．したがって，元の EM ア
ルゴリズムと類似したスキームで J(θ) の最大化を行う

学習を行うことができるため，安定した学習となる．そこで，後述の実験では後者のセミオンライン的な学習法
また，逆温度パラメータ β は適当なスケジューリン
グを行う必要がある．これは，小さな β を用いると空間探索はより実現できるが，一方でランダム性の大きな policy となるため学習の安定性が悪くなり，逆に大き以上の議論より，確率的 actor NGnet のための EM

な β を用いると policy はグリーディであるため学習はアルゴリズムを以下のように定義する．E ステップで安定するが，critic の正しい推定が行えなくなるからでは，(21b) 式によって h̄(i|xc (t),u(t), θ̄) が求められ，そある．学習エピソードの進行に伴って critic の推定が良れを用いて (21a) 式で JC(θ|θ̄,X ) を計算する．ここくなっていくことが期待されるので，学習エピソード k

で，JC(θ|θ̄,X ) の θ に関する最大化には ZQ,ρ の実際の値は不必要である点に注意する．M ステップでは，

JC(θ|θ̄,X ) を θ に関して最大化する．最大化の必要条件∂JC(θ|θ̄,X )/∂θ = 0 の解は，重み付き平均 (5) 式を以下で置き換えることによって元の EM アルゴリズムと同様における逆温度パラメータ β(k) が徐々に増加するように β(k) = ak + b とスケジューリングする．ここで，a とb は適当な正数である．このスケジューリングはヒュー
リスティクスであるが，後述の実験で示すようにうまく働く．

に得られる．

3.4

T

1X
f (xc (t),u(t))
hf (xc ,u)ii (T ) ≡T t=1

actor-critic 学習

以上で提案した actor および critic の学習アルゴリズ
ムは以下のようにまとめられる．

(22)

1. 制御と critic の学習
1-1. 現在の状態 xc (t) に対して，actor NGnet は確率分布 (2) 式に基づいて確率的行動 u(t) を選択す
る．具体的には，現在の actor NGnet のモデルパ
ラメータを θ0 とすると，ユニット i が条件付き確率 P (i|xc ,θ0 ) で選択される．その後，選択された
i について行動 u が条件付き確率 P (u|xc ,i,θ0 ) でJ(θ) は上記の E ステップと M ステップを繰り返すことによって最大化することができる．
また，このアルゴリズムは元の EM アルゴリズムと同様に以下のようにオンライン学習へ拡張することができる．状態と行動の組 (xc (t),u(t)) が観測されると E ス
テップでは h̄(i|xc (t),u(t),θ(t − 1)) が求められる．M ス
テップでは，逐次計算式 (7a) が以下で置き換えられる．

hhf (xc ,u)iii (t) = (1 − η(t))hhf (xc ,u)iii (t − 1)
+η(t)f (xc (t),u(t))h̄i (t)方で actor はエピソード後に固定された Q 関数を用いてを用いている．

ことができる．

×h̄(i|xc (t),u(t), θ̄)た policy に依存する Q 関数を学習することができ，一(23)

ここで，h̄i (t) ≡ h̄(i|xc (t),u(t),θ(t − 1)) である．この重み付き平均を用いて，新しいモデルパラメータ θ(t) が(8) 式と (9) 式を用いて更新される．

– 21 –

生成される．

1-2. 行動 u(t) と制御対象のダイナミクスにしたがって状態は xc (t+1) に変化する．この時，学習シス
テムは報酬 r(xc (t),u(t)) を観測する．
1-3. オンライン EM アルゴリズムを用いて critic
NGnet の学習が行われる．critic NGnet への入力は状態と行動の組 (xc (t),u(t)) である．出力のターゲットは (13) 式の右辺である．この計214

システム制御情報学会論文誌 第 16 巻

第5号

(2003)

算で必要な Ω(xc (t + 1)) は現在の actor NGnet

ここで，ν1 ,ν2 は小さな正定数である．この直接報酬は，P (u(t)|xc (t + 1),θ0 ) の条件付き期待値，すなわ
ち，決定論的 NGnet の出力 (1) 式によって与えられる．決定論的 NGnet の出力を用いるのは，学習ν1 = ν2 = 0 の極限において，目標状態 q = q̇ = 0 の時の
み 1，それ以外で 0 となるものである．

後の性能評価時には空間探索が必要ないためであ

最短の場合には 17 回の学習エピソード後にシステムはる．決定論的 actor NGnet の出力と現在の決定論

ほぼすべての初期状態から振子を倒立位置で静止させる

的 critic NGnet を用いて Q(xc (x + 1),Ω(xc (t)))

ことができた．Table 1 は，各初期状態集合から学習後を求めることができる．

の actor ネットワークを用いて制御した場合の成功率を以上の条件でシミュレーション実験を行ったところ，固定された actor NGnet P (u|xc ,θ0 ) を用いて，t =表している．ここで，課題の成功は最後に得られた報酬

1,···,T の間，この過程を繰り返す．これを 1 回のエピソードと定義する．1 エピソードの間に観測された状態と行動の軌道 X ≡ {(xc (t),u(t))|t = 1,...,T }が 0.99 以上になることで定義している．この報酬を得るは保存される．

に 1000 個を生成したものを用いている．(1) や (2) のよためにはシステムは倒立位置付近で静止していなければならない．また，初期状態集合は各範囲内からランダム

2. actor の学習
actor NGnet は，保存された軌道 X から 3.3 節で説明したオンライン EM アルゴリズムを用いてそのモ

うに初期状態が比較的簡単な場合にはすべて成功することができる．(3) のように比較的難しい初期状態が与えられた場合でも高い割合で成功する．例えば，垂れ下がりの位置で静止している状態からでも成功することがで

デルパラメータを更新する．
以上が，1 エピソードの力学システムの動作に基づき行

きる．Fig. 1 はこの時の振子の動きをストロボ的に表し

われる処理である．この学習エピソードを繰り返すことている．
第 2 の問題は，acrobot を倒立位置付近で安定化させによって強化学習が行われる．

4.

るものである [5,11]．acrobot は Fig. 2 で示されるよう実験な 2 リンク 2 関節からなるアクチュエータロボットであ提案手法の性能を調べるために，本手法を二つの最適

り，鉄棒運動のダイナミクスと類似している．腰の部分制御問題に応用した．第 1 の問題は，単振子を限られたに対応する第 2 関節にトルクをかけることができるが，制御トルクを用いて振り上げ，倒立位置で安定化させる鉄棒を持つ手の部分に対応する第 1 関節にトルクをかけ0ものである [8]．システムの状態は xc ≡ (q, q̇) で表されることはできない．acrobot は，システムが非線形性がる．ここで，q は頂点位置から計った振子の角度であり，強く不安定な力学系であるため，倒立位置近傍での安定q̇ は振子の角速度である．制御トルク u は |u| ≤ umax に制限されており，umax は振子を一度に倒立位置まで持化を行うだけでも非常に難しい．

ち上げるには不十分な量であるものとする．

習を行った場合には，最短で 16 回の学習エピソード後

しかしながら，倒立位置近傍を初期状態として強化学

1 回の学習エピソードの間に以下の過程が行われる．

に目標状態で安定化できる．Fig. 3 と Fig. 4 は学習後振子の状態を目標状態を中心とする正規分布にしたがっの典型的な制御過程を示している．Fig. 3 は acrobot のて初期化した後，学習システムは時間間隔 0.01 秒でシス状態をストロボ的に表したものであり，Fig. 4 はこのとテムの状態を観測し，確率的 actor にしたがって制御信きの状態と制御トルクの時系列を示したものである．シ号を出力する．この制御過程は 7 秒間行われ，この間にステムは第 2 リンクの振動を徐々に減衰させ，最後には

3.4 節で述べられた学習アルゴリズムが適用される．すなわち，1 エピソードで観測される軌道データは 700 点

頂点位置で静止させる．また，性能評価時には Fig. 5 に示すように目標状態から大きく離れた初期状態を与えらである．

れた場合でも，反動をつけて倒立位置付近まで導き，最学習の目的は目標状態 q = q̇ = 0 で安定化させることで後は目標状態で安定化することができる．これは critic

あるので，最短時間で安定化するための直接報酬は目標
状態で 1，それ以外の状態 0 となる関数が望ましい．しNGnet による Q 関数の推定の伝播が正しく行われ，かつ，NGnet の汎化性能の良いことを示すものであると考かしながら，試行錯誤中に連続空間の一点である目標状えられる．

態に到達することは極めてまれであり，その状態に到達

我々は以前の研究 [10,11] で同じ問題を用いた実験をできなければ，その間の情報は無駄になってしまう．そ行っている．ここでは，critic の勾配に基づいて actor のこで，本実験では，直接報酬として目標状態で最大とな学習が行われていた．倒立振子および acrobot の問題にるような連続関数を用いる．具体的には，r(xc (t),u(t))

おける以前の手法との比較は，Table 2 と Table 3 にそれは r̃(xc (t + 1)) で与えられるものとし，これを以下で定ぞれまとめられる．Table 2 および Table 3 の各項目は，義する．

良い制御を獲得するまでの平均学習エピソード数，学習¡r̃(xc ) = exp −q 2 /ν1 − q̇ 2 /ν2¢

後の actor NGnet と critic NGnet が必要とする平均ユ(24)

ニット数，および，1 回の学習エピソードに要する平均– 22 –

215

吉本・石井・佐藤：連続力学システムの自動制御のためのオンライン EM 強化学習法
Time Sequence of Inverted Pendulum@@(1) 0 ≤ |q| ≤ π/3, |q̇| ≤ π/3(2) π/3 ≤ |q| ≤ 2π/3, |q̇| ≤ 2π/3
(3) 2π/3 ≤ |q| ≤ π, |q̇| ≤ πTable 1

Success rate

1
HeightRange of initial states

1.000
1.000
0.940

0
-1
0

0.5

Success rate from each initial state setting

1.5
Time [s]

2

2.5

XXX

0

3

New

3.5

4

4.5

Previous
127.8
37.4
77.8
2.07

XX

XXX
X
No. of episodes
No. of actor units
No. of critic units
CPU time [s/episode]

6

8

8.5

9

0
-1
6

6.5

7

7.5
Time [s]Control process for the inverted pendulum

Comparison of the two methods for inverted
pendulum

XXX

5.5

1

Fig. 1XXX

5Time [s]HeightXXX

XX
X
No. of episodes
96.4
No. of actor units
57.0
No. of critic units
130.6
CPU time [s/episode]
1.96

New

Previous

43.4
33.4
35.0
2.74

75.4
50.8
76.8
2.92

L2

M2 g

q2

u
L1

Comparison of the two methods for the acrobot

q1

CPU 時間を，それぞれ表している．ここで，各数値は課題に成功した 20 回の平均を示している．また，CPU
時間はワークステーション DEC Alpha 600 au を用いてFig. 2

計測している．新しい手法は良い制御を獲得するまでのTime Sequence of Balancing Acrobot

Table 3

3

-1

XXX

Table 2

1

1
Height@M1 g

学習エピソード数，すなわち，学習に要した総軌道デー

The acrobot

2
Height

タ数は，以前の手法に比べて大きく減少しており，効率良い学習法であることが分かる．actor や critic に要す

1
0

るユニット数は問題によって傾向が異なるが，1 回の学
習エピソードに要する CPU 時間にはそれほど影響を及

0

0.5

1
Time [s]

1.5

2

2

2.5

3
Time [s]

3.5

4

4

4.5

5

5.5

6

2
Height

ぼさない．また，1 回の学習エピソードに要する CPU 時

10間は物理システムに比べて十分に短いものであり，実問題への適用も可能と考えられる．
提案手法は以前の手法と同様に制御対象のモデルを明Height2に必要とせず，問題の性質に応じて NGnet のユニット

1
0

数を自動決定できるため，汎用性が高いものである．従来の手法では，勾配法に基づいて actor の出力ターゲッ

Time [s]トを求めていたため，その更新幅を決定するための係数
Fig. 3を問題に応じて慎重に決定する必要があった．しかしながら，提案手法では実際に経験した軌道データをそのまま学習データとして用いることができ，また，逆温度に関するスケジューリングも容易である．この点が改善されているため，提案手法は，以前の手法よりも扱いやす
く，優れたものと考えられる．

– 23 –

Control process for the acrobot

216

システム制御情報学会論文誌 第 16 巻

参 考 文 献0.4

[1] G. Tesauro: Practical issues in temporal difference
learning; Machine Learning, Vol. 8, pp. 257–277(1992)[2] T. Yoshioka, S. Ishii & M. Ito: Strategy acquisition
for game othello based on min-max reinforcement
learning; IEICE Transactions on Information and
Systems, Vol. E82-D, No. 12, pp. 1618–1626 (1999)[3] G. A. Barto, R. S. Sutton, R. S. & C. W. Anderson: Neuronlike adaptive elements that can solve difficult learning control problems; IEEE Transactions
on Systems, Man, and Cybernetics, Vol. SMC-13,
pp. 834–846 (1983)[4] C. J. C. H. Watkins & P. Dayan: Q-learning; Machine Learning, Vol. 8, No. 3/4, pp. 279–292 (1992)[5] R. S. Sutton: Generalization in reinforcement learning: Successful examples using sparse coarse coding;
Advances in Neural Information Processing Systems
8 (D. S. Touretzky, M. C. Mozer & M. E. Hasselmo,eds.), pp. 1038–1044, MIT Press (1996)[6] M. Sato & S. Ishii: On-line EM algorithm for thenormalized Gaussian network; Neural Computation,
Vol. 12, No. 2, pp. 407–432 (2000)[7] D. P. Bertsekas & J. N. Tsitsiklis: Neuro-Dynamic
Programming, Athena Scientific (1996)[8] K. Doya: Reinforcement learning in continuous timeand space; Neural Computation, Vol. 12, pp. 219–245(2000)[9] 森本，銅谷：強化学習を用いた高次元連続状態におけるState ; Torque

0.2

0

-0.2

-0.4

-0.6

Fig. 4

q1/π
q2/π
u/20
0

1

2

3

4

5
Time [s]

6

7

8

9

10

State/control time-series corresponding to Figure
3
Time Sequence of Balancing Acrobot

Height

1
0
-1

0.0

0.5

1.0

1.5

2.0

2.5

3.0

3.5

4.0

6.5

7.0

7.5

8.0

10.5

11.0

11.5

12.0

Time [s]Height

2
1
0

4.0

4.5

5.0

5.5

6.0
Time [s]Height

2
1
0

8.0

8.5

9.0

9.5

10.0
Time [s]Fig. 55.

(2003)

また人工知能研究振興財団の研究支援を受けた．

Control Sequence of Balancing Acrobot
0.6

-0.8

第5号

A successful control from a difficult initial state

系列運動学習−起き上がり運動の獲得−；電子情報通信学会論文誌（D-II），Vol. J82-D-II, pp. 2118–2131

おわりに

本論文では，actor-critic アーキテクチャを用いた新しい強化学習法を提案した．critic は現在の policy に対する Q 関数を近似した．critic の学習にはオンライン EM
アルゴリズムが用いられ，学習データは Bellman 方程式に基づいて生成された．actor は現在の Q 関数に依存する soft-max policy を近似した．actor の学習は経験した状態と行動の軌道および現在の Q 関数を用いてオンライ
ン EM アルゴリズムを用いて行われた．提案された手法
は二つの自動制御問題に応用され，いずれの場合にも少ない試行からの学習で良い制御が獲得できた．状態および行動の空間が連続である課題に強化学習を応用するた
めには，近似精度と汎化能力に優れた関数近似器および高速な学習アルゴリズムが必要である．実験結果から提案された手法はこれらの特徴を有しているものであると考えられる．

謝辞

本研究は、財団法人テレコム先端技術研究支援センターおよび通信・放送機構の研究委託により実施された．

– 24 –(1999)[10] M. Sato & S. Ishii: Reinforcement learning basedon on-line EM algorithm; Advances in Neural Information Processing Systems 11 (M. S. Kearns, S. A.
Solla & D. A. Cohn, eds.), pp. 1052–1058, MIT Press(1999)[11] 吉本，石井，佐藤：オンライン EM アルゴリズムによる強化学習法の acrobot 制御への応用；電子情報通信学会
論文誌（D-II），Vol. J83-D-II, No. 3, pp. 1024–1033(2000)[12] D. A. Sofge & D. A. White: Applied learning - optimal control for manufacturing; Handbook of Intelligent Control (D. A. White & D. A. Sofge, eds.),
pp. 259–282, Van Nostrand Reinhold, New York
(1992)[13] L. Xu, M. I. Jordan & G. E. Hinton: An alternativemodel for mixtures of experts; Advances in Neural
Information Processing Systems 7 (G. Tesauro, D. S.
Touretzky & T. K. Leen, eds.), pp. 633–640, MIT
Press (1995)[14] A. P. Dempster, N. M. Laird & D. B. Rubin: Maximum likelihood from incomplete data via the EM217

吉本・石井・佐藤：連続力学システムの自動制御のためのオンライン EM 強化学習法

J(θ) ≥ J(θ̄) である．

algorithm; Journal of Royal Statistical Society B,
Vol. 39, pp. 1–22 (1977)[15] R. E. Bellman: Dynamic Programming, Princeton
University Press (1957)(証明終)著 者 略 歴
よし

付

もと

吉 本

録

じゅん いち ろう

潤 一 郎
1975 年 9 月 26 日生．2002 年 9 月奈良先付録 1. soft-max policy π の導出

端科学技術大学院大学情報科学研究科博士後期課程修了．2002 年 10 月より科学技術

同時確率分布 (16) より，状態 xc が与えられた時の行振興事業団 CREST 銅谷プロジェクトの研究員となり現在に至る．ニューラルネット

動 u が選ばれる条件付き確率は以下で得られる．

PQ,ρ (xc ,u)duPQ,ρ (xc ,u)exp[βQ(xc ,u)]=R
duexp[βQ(xc ,u)]

PQ,ρ (u|xc ) = R

ワーク，統計的学習理論，強化学習の研究に従事．神経回路学会，計測自動制御学会の会員．

(A1)

いし

い

石 井

これは，soft-max policy π の確率分布と一致する．すしん

信 (正会員)1988 年 3 月東京大学大学院工学系研究科修士課程修了．
（株）リコー中央研究所
研究員，ATR 人間情報通信研究所研究員，
奈良先端大情報科学研究科助教授を経て，なわち，(A1) 式によって soft-max policy π を導出する
ことができる．

2001 年 4 月より奈良先端科学技術大学院

付録 2. JC(θ|θ̄) ≥ JC(θ̄|θ̄) ⇒ J(θ) ≥ J(θ̄) の略証

大学情報科学研究科教授となり現在に至る．非線形力学系，ニューラルネットワーク，強化学習，統計的学習理論，バイオ情報学の研究に従事．電子情報通信学

モデルパラメータ θ を持つ確率的 NGnet のユニットインデクス i に関する事後確率を P (i|xc ,u,θ) とし，θ̄ を現在のモデルパラメータとする．このとき，Q 関数と xc の会，神経回路学会などの会員．

出現確率 ρ(xc ) に依存する確率分布 PQ,ρ (xc ,u) で重み付けした P (i|xc ,u, θ̄) と P (i|xc ,u,θ) の KL-divergence

さZ
dxc duPQ,ρ (xc ,u)

M
X

とう

佐 藤

を用いて以下のような関係式を導き出すことができる．

まさ

あき

雅 昭
1980 年 3 月大阪大学大学院理学研究科
物理学専攻博士課程修了．ニューヨーク大学助手，フロリダ大学助手，ATR 視聴覚機構研究所主任研究員，ATR 人間情報通信研究所主任研究員を経て，現在，ATR

P (i|xc ,u, θ̄)¶i=1
P (i|xc ,u, θ̄)×log
P (i|xc ,u,θ)£¤ £¤= JC(θ̄|θ̄)−JC(θ|θ̄) + J(θ)−J(θ̄) ≥ 0µ

人間情報科学研究所主任研究員．非線形力学系，カオス，ニューラルネットワーク，強化学習，ロボット
制御，統計的学習理論の研究に従事．電子情報通信学会，神経回路学会などの会員．

(A2)

この関係式は，(A2) 式において第 1 項が負 (または 0)のときには第 2 項が正 (または 0) にならなければならないことを意味する．すなわち，JC(θ|θ̄) ≥ JC(θ̄|θ̄) ⇒– 25 –