論 文

強化学習による４足ロボットの歩行動作獲得員木村

元 （ 東京工業大学）

非会員

山

下

透 （ 東京工業大学）

非会員

小林 重 信 （ 東京工業大学）

正

Reinforcement learning of walking behavior for a four-legged robot

Hajime Kimura, Member, Toru Yamashita, Non-member, Shigenobu Kobayashi, Non-member (Tokyo
Institute of Technology)
We investigate a reinforcement learning of walking behavior for a four-legged robot. The robot has two
servo motors per leg, so this problem has eight-dimensional continuous state/action space. We present an
action selection scheme for actor-critic algorithms, in which the actor selects a continuous action from its
bounded action space by using the normal distribution. The experimental results show the robot successfully
learns to walk in practical learning steps.
キーワード ：強化学習，ロボット，行動選択，ガウス分布
Keywords: reinforcement learning, actor-critic, robotics, exploration strategy, normal distribution,1.

決定過程の環境下での強化学習において一般的な方法論ではじめにある状態-行動評価関数を推定してから最適政策を得る価値関数アプローチは実行不能である．

強化学習は，報酬という単純な指示から，それよりもはる

Actor-critic アルゴ リズムは，政策勾配法 (policy gradient methods) に基づく別の接近法である．政策勾配法

かに複雑な制御規則を自動的に獲得するための手法として
有望である

(1)

．強化学習で最も一般的なのは Q-learning(2)のように状態や行動の評価値 (value) を推定した後に最適なは，確率的政策のパラメータを価値関数の勾配を用いて更政策を得る価値関数アプローチ (value-function approach)

新していく方法である．このアプローチは局所解に陥る可と呼ばれる方法である．実環境におけるロボットの学習制

能性を伴うものの，多くの利点を有するため，高次元の空御においては連続で膨大な状態および 行動空間の扱いが間を持つ強化学習の実問題においてたびたび用いられてい求められる．連続な状態または行動空間において価値関数る (11) (12) ．本論文では actor-critic アルゴ リズムを４足ロ(value function) を近似する方法については多くの研究例 (3)

ボットの歩行動作獲得問題へ適用するための新しい実装方がある．空間をグリッド で分割する方法が最も単純であり，法を提案する．ロボットは１脚あたりモータ２個を持つたTD 法

や Q-learning の収束が保証される線形アーキテ

め，全体で８次元の連続な状態空間と同時に８次元連続値

クチャ (linear architecture) (5) (6) の性質を有する関数近似の行動空間を持つ強化学習問題である．このような問題に方法の一つである．しかし，分割が粗いと非マルコフ問題がおいて actor-critic を実装する場合，actor の行動選択に正発生し，細かすぎると汎化性能の低下という問題が生じる．

規分布を用いる方法が多いが，正規分布は定義域に上界／

CMACはグリッド分割を拡張することで線形アーキテク

下界が無い．そのため環境で定義されている行動空間の外チャの性質を保ったまま上記の問題点の解決を図る関数近似の行動を選択する場合には行動空間の上界または下界の値方法として知られる．訪問頻度の高い状態領域での関数近を指示したものとして処理するが，これは特に本論文のロ似精度を高める工夫として，事例に基づく方法 (instancebased method) (7) (8) や適応的状態分割 (9) , (10) などの方法

ボットの場合には学習途中で全く動かなくなるなどの悪影

(4)

(4)

響が生じるという問題がある．そこで本論文では，連続なが提案されている．しかし ，状態空間と行動空間が高次元

行動空間に上下界の存在する環境において，正規分布を用の場合，最適政策を求めるために状態-行動評価値 (state-

いて行動選択を行うための新しい実装方法を提案する．実

action value) を正確に推定することは，推定に要するサン機を用いた実験では，ロボットは提案手法により現実的なプルを得る試行回数が膨大であり，その関数近似のために時間内で歩行動作を獲得することに成功した．

は膨大なリソース ( メモリ) を必要とする．よってマルコフ
電学論 C，122 巻 3 号，平成 14 年1

〈 2・2〉 マルコフ決定過程によるモデル化
本論文ではロボットの学習問題をマルコフ決定過程 (MDP) における強化学習問題として以下のように定式化する．状態空間
を ，行動空間を ，実数の集合を と表す．各離散時間
ステップ t において，エージェントは状態 stを観測して行動 atを実行し，状態遷移の結果，報酬 rtを受け取る．一般に報酬と遷移先の状態は確率変数だが，MDP ではその分布は st と at だけに依存する．遷移先の状態 st+1 は遷移確率 T (st ; a; st+1) に従い，報酬 rt は期待値 r(st ; a) に従って与えられる．
学習エージェントは T (st ; a; st+1) や r(st ; a) についての知識は事前に与えられない．強化学習の目的はエージェン
トのパフォーマンスを最大化する政策 (policy) を生成する

S

A

R

2S

2A

2R

ことである．無限期間のタスクにおいて自然な評価規範と図 1 使用したロボット．各足は角度指令に基づいて動作するサーボモータ２個を持つ．

しては，以下のような割引報酬合計による評価がある．

Fig. 1. The robot.
Each leg is controlled by
2-servo motors that react to angular-position commands.

Vt =

1
X

k=0

kr

ただし割引率 0t+k ,            (1)  1 は未来の報酬の重要度を示し，Vt

は時刻 t の評価値を表す．MDP では，評価値は以下のよ
2.

うに定義できる："

問題設定

V  (s) = E〈 2・1〉 ４足ロボット
本論文では Fig.1 に示す４足ロボットを扱う．学習目標は，なるべく速くまっすぐに前進する制御規則を獲得することである．このロボットを制御するコントローラが学習主体の「エージェント 」になり，ロボット本体を含めた外界がエージェントにとっての「環境」になる．エージェントは事前に環境やロボットのダ イ

ただし E

1
X
t=0

#

tr

t s0 = s; ,    (2)fg は期待値演算を表す．MDP では式 2 で定義される各状態 s における評価値を最大化する政策を探すことが目標である．本論文のロボット学習問題では，状態空間が上下界の存在する８次元の連続な空間であり，行動空間も同じである．

ナミクスを知らされていないため，試行錯誤を通じて制御
3.

規則を形成していくことが求められる．エージェントの保強化学習アルゴリズム

Actor-critic

持する制御規則は，状態入力から行動への確率分布という〈 3・1〉 Actor-Critic アルゴリズ ム

形式の政策関数で表現される．エージェントは試行錯誤をアーキテクチャ (13) (Fig.2) は MDP だけでなく非マルコフ

通じて政策関数のパラメータを改善する．ロボットの各脚問題の一種である POMDP におけるあるクラスにおいては Fig.1 に示すように２個の位置制御サーボモータで駆動も有望な手法である．Actor は，状態から行動への確率分

され，全体で８自由度である．各脚の２つのモータはそれ布である " 確率的政策 (stochastic policy)" に従って行

ぞれリフト脚，スイング脚を受け持つ．リフト脚は上下方動を実行する．Critic は，actor の政策のもとでのそれぞれ

向，スイング脚は前後方向へ足先を運ぶ役割を持つ．

の状態の" 価値 (value)" を推定する．Actor は，critic で各時間ステップにおいてエージェントは８個のサーボモー計算される temporal di erence (TD) エラーを手がかりにタの角度を観測して現在の状態とし，政策関数に従って行して政策を改善する．政策の評価値推定のプロセスの収束

動を選択する．行動は８個のサーボモータの角度の目標値を待って政策改善を行うのが理想的だが，多くの場合，政である．よって現在の状態は１ステップ前に出力した行動

策改善と政策の評価値推定のプロセスは同時に行われる．

に等しい．行動を実行後，約 0:3 秒後に状態遷移結果として号を生成する．２つの車輪の移動速度平均はロボットの前

Fig.3 は本ロボットに適用した actor-critic の詳細である．
Actor と critic の両方に適正度の履歴 (eligibility trace) (14)を用いているのが特徴である．Critic では TD() でそれを用いており，actor では政策パラメータについて用いてい進速度を示し，２つの車輪の移動速度の差分はロボットがる (15) (16) ．

旋回していることを示す．ロボットの学習目標はまっすぐ〈 3・1・1〉 Critic における処理手順
Critic におけるTD() の処理は Fig.3 のステップ 3 と 5 の部分である．パラメータ v は適正度の履歴を特徴付け，TD( = v ) となる．

報酬が与えられ，次の時間ステップへと進む．Fig.1 の右側に示される２個の車輪は，ボディの移動を検出して報酬信に前進することなので，各時間ステップでの報酬は，２つの車輪の移動速度平均から差分の絶対値を引いた値とした．
車輪は直径 5cm で 200 パルス／回転の信号を生成する．
2

T.IEE Japan, Vol. 122-C, No.3, 2002

st

-

st

-



Agent
Actor
at
stochastic policy 
6reinforcement for at
rt + V^ (st+1 ) V^ (st)TD-error

Critic V^ (s)Observation

1 ） Observe state st , choose action at with probability(at j; st), and perform it.
（ 2 ） Observe immediate reward rt , resulting state st+1 , andcalculate the TD-error according to(TD-error) = rt + V^ (st+1 ) V^ (st) ,    (3)where 0   1 is the discount factor, V^ (s) is an estimated value function by the critic.
^ (s) in the critic（ 3 ） Update the estimating value function V
according to the TD() method as:@ V^ (s ) ,             (4)ev (t) = @wtev (t) ev (t) + ev (t) ,w(t) = (TD-error) ev (t) ,w w + v w(t) ,where ev denotes the eligibility of the parameter w in thefunction approximator V^ (s), ev is its trace, and v is alearning rate.
（ 4 ） Update the actor's stochastic policy by（rtRewardActionEnvironment?

図 2 一般的な actor-critic アルゴリズムの枠組．
Critic は状態評価値を推定し actor に TD-errorを与える．Actor はそれに基づいて政策を改善す
る．TD-error > 0 の場合，行動 at は良い行動と考えられるので at をとる確率を上げる．さもな
ければ at の確率を下げる．

>


@ 
ln

(
a
t j; st ) ,        (5)@e (t) e (t) + e (t) ,(t) = (TD-error) e (t) ,  +  (t) ,aawhere e is the eligibility of the policy parameter , e is
its trace, and  is a learning rate.
（ 5 ） Discount the eligibility traces as follows:
ev (t + 1)
v ev (t) ,e (t + 1)
 e (t) ,where v and  (0  v ;   1) are discount factors in
the critic and the actor respectively.
（ 6 ） Let tt + 1, and go to step 1.

〈 3・1・2〉 Actor における処理手順
Actor では，確率的政策はパラメータ関数表現され，そのパラメータを価値関数の勾配を用いて更新していく (16) (17) ．エージェントが政策  のもとで観測 s において行動 a を選択する確率を関数 (a ; s) で表す．政策 (a ; s) は行動 a の集合が連

j



j

続値の場合は確率密度関数である．エージェントは内部変
数  を調節することにより確率的政策  を変える．Actor は actor の適正度の履歴を特徴付けるが，TD() の場
合とは性質がやや異なる． が 0 に近い場合，critic で推定された価値関数 V^ を用いて政策が更新される． が 1

Fig. 3. An actor-critic algorithm using eligibility
traces in both the actor and the critic.

に近い場合，式 1 で定義される実際の報酬のサンプル合計

ただし wb は関数近似のためのパラメータである．式 4 の

ev (t)b は bth 番目のパラメータ wb の適正度 (eligibility) である．すなわち ev (t) = (ev (t)1 ; ev (t)2 ;    ev (t)b    ; ev (t)256),による評価値を用いて政策が更新される．

〈 3・2〉 ４足ロボット学習問題のための実装
ロボットの８個の関節モータ角度をベクトル (s1 ; s2 ;; s8) によって表現し，これを状態とする．ただし各要素は 1 si 1，
i = 1; 2; ; 8 のよ うに正規化され ているものとする．
Critic では８次元の連続な状態空間は各座標軸毎に２分割，合計 28 個の超矩形領域によって離散化され，状態は 28 の長さを持つ単位ベクトル (x1 ; x2;; x256) を用いて，該当する領域の要素のみ 1，それ以外の要素は 0 という具合に表現される．Fig.3 中で表される推定値 V^ (st ) は以下のよ
うに計算される：



このとき式 6 より(

 ev (t)b =V^ (st ) =

256
X
b=1

1 , where xb = 1 ,0 , where xb = 0 .

      (7)ロボット の８ 個の関 節モー タ角度の目 標値をベ クトル(a1 ; a2;    ; a8) によって表現し ，これを行動とする．ただし各要素は状態ベクトルと同様に 1  ai  1，i =
1; 2;    ; 8 のように正規化されているものとする．Actor
は以下のような行動選択を行う：各モータ (i) において，actor は正規分布 N ((i) ; (2i)) に従い，[ 1; 1] の範囲の値

xbwb ,             (6)

電学論 C，122 巻 3 号，平成 14 年



図 3 適正度の履歴を用いた actor-critic アルゴ
リズムの更新処理は Fig.3 のステップ 4 と 5 である．パラメータe (t) =Fig. 2. A standard actor-critic architecture. The
critic estimates state values and provides the
TD-error to the actor. The actor updates the policy
using it. If the TD-error
0, the actor raises probability of action t because the action t would leadthe agent to a better state. Otherwise, it decreases
the probability of t .

a

強化学習による４足ロボットの歩行動作獲得を得るまでランダムサンプルをとり続け，その値が出たら3

それを選択する．正規分布のパラメータ (i) と (i) は以下のシグモイド関数によって与える：

(i) =
(i) =

1 + exp

1
1 + exp

ただし k;(i) (k = 1; 2;

2

P8

k=1 sk k;(i)9;(i)1, ,   9) は政策パラメータである．正規分布 N ((i) ; (2i)) が１回の試行で [ 1; 1] の範囲のサン

プルを生成する確率を Pin とすると，

Pin =

Z 1

1

p

1 (i) 2

exp(x

ただし k = 9 である．式 10 と式 11 の第２項は定積分を

(i) または (i) で微分する操作が求められる．本論文では!

(i))2dx  (8)2(2i)

これを近似的な数値計算によって与えたが，これらの関数

は，上下界を持つ (i) や (i) にのみ依存するので，テーブル等を用いることで容易に計算コストを減らせる．

ここで (i) が 0 に近付くと適正度が発散してしまうこと

このとき政策関数は以下で表される：に注意が必要である．これは式 10，11 において (i) が分

(a(i) j; st )母になっているためである．適正度が発散すると政策更新= 1 + (1 Pin) + (1 Pin)2 +   !
(a(i) (i) )21
 p exp2(2i)
(i) 2!
(a(i) (i) )2
1
1
p exp
=
,  (9)Pin (i) 2
2(2i)のステップ幅が不当に大きくなりすぎて学習が失敗してしまう．そのため本論文では更新のステップサイズを (2i) に比例させるというヒューリスティクスを用いた．このとき適正度は以下のように与えられる．
s (1 (i))(1 + (i) )a(i) (i)e (t)k;(i) = i2si (1 + (i) )(1 (i) ) 2@ 1
P, (12)+
(i) in @(i) Pin
where k = 1; 2;    8,
= (1 (i) ) (a(i) (i) )2 (2i)@ 1+(1 (i))(3i) Pin,where k = 9.
@(i) Pin

ただし a(i) は [ 1; 1] の範囲に制限される．ith 番目のモータにおける kth 番目の政策パラ メータ k;(i) の適正度をe (t)k;(i) と表すと，式 5 中の  と e (t) は 9  8 のマトリクスによって表現される：
8>> 1;(1) 2;(1)>>< 1;(2) 2;(2) = > ..

..
.

>
.
>
>
:

9

   9;(1) >>>=   9;(2) >
..

.

..
.

>
>
>
>
;

..

.

..
.

e (t)1;(8) e (t)2;(8)    e (t)9;(8)

>
>
>
>
;

5

式 5，9 より各 e (t)k;(i) は以下で与えられる．

@

ln (a(i) j; st)@k;(i)!
@(i) @
(a(i) (i) )2
1
p exp
=
ln
@k;(i) @(i)2(2i)
Pin(i) 2
si (1 (i) )(1 + (i))=

e (t)k;(i) =2

 a(i)2 (i) + Pin @@ P1(i) in(i)
ただし k = 1; 2;!

on carpet
on rubber mat

10

accumulated reward ( m )

..
.

>
.
>
>
:

実験結果

4.

1;(8) 2;(8)    9;(8)89>e(t)1;(1) e (t)2;(1)    e (t)9;(1) >

>
>
>
>
>
< e (t)1;(2) e (t)2;(2)    e (t)9;(2) >=e (t) = > ..

@ln (a(i) j; st )@k;(i)!
(a(i) (i) )2@(i) @
1
p exp
ln
=
@k;(i) @(i)2(2i)
Pin(i) 2
= (i)(1 (i))!
(a(i) (i) )2 (2i)
@ 1

+ Pin
, (11)
(3i)@(i) Pine (t)k;(i) =

0

-5

-10

-15

-20

-25
0

2500

5000

7500

10000

learning step

図 4 カーペット上とゴ ムマット上での学習の様
子．各試行は 10000 ステップ（約 80 分）．

    (10)Fig. 4. Learning curves averaged over 2 trials on
the carpet and the high-frictional rubber mat. Eachrun consisted of 10000 steps (about 80 minutes).

   8 である．k = 9 の場合の適正度は
4

T.IEE Japan, Vol. 122-C, No.3, 2002

強化学習による４足ロボットの歩行動作獲得
64

64
leg 1
leg 2
leg 3
leg 4

leg 1
leg 2
leg 3
leg 4

state

0

state

0

-64

-64

-128

-128
0

2

4

6

8

10

0

2

4

time step

6

8

128

128
leg 1
leg 2
leg 3
leg 4

leg 1
leg 2
leg 3
leg 4

64

state

state

64

0

-64

0

-64

-128

-128
0

2

4

6

8

10

0

time step

2

4

6

8

図 5 カーペット上にて 10000 ステップ学習後（約 80 分）に得た動作の歩容．上はリフト 脚，下はスイング脚の動き．

図 6 ゴ ムマット上にて 10000 ステップ学習後（約 80 分）に得た動作の歩容．上はリフト脚，下はスイング脚の動き．

Fig. 5. Gait pattern of the learned behavior on the
carpet after 10000 steps (about 80 minutes). The
top graph shows the movement of lifting legs, andthe bottom graph is that of swinging legs.

Fig. 6. Gait pattern of the learned behavior on therubber mat after 10000 steps (about 80 minutes).
The top graph shows the movement of lifting legs,
and the bottom graph is that of swinging legs.

報酬が入らない．そのため，比較的小さいゴ ムマット上では頻繁に持ち上げる必要があるため，トータルで報酬が少マット上の２種類の条件下で実験を行った．パラメータ設定なくなってし まったものである．

= 0:9， v = 0:1，  = 0:002，v = 1:0， = 1:0．
Fig.4 はカーペットおよびゴムマット上における学習曲線

どちらの床でも，ロボットは Fig.7, 8 に示すようにカメのような歩行動作を獲得した．Fig.5, 6 はその歩容 (gait)を表す．縦軸は報酬の累積値を前進した距離に換算した値を示す．右側の前足 (leg4) と左側の後ろ足 (leg2) はほぼ同を表すが，報酬は (１ステップで２つの車輪が前進した平位相で，また左側の前足 (leg1) と右側の後ろ足 (leg3) がほ

均値) − (１ステップでの２つの車輪の差分の絶対値) とい

ぼ同位相で同期して動いており，歩容はトロット (trot) にう形式で与えられるため，学習初期においてグラフが下降

近い．リフト 脚は足を上に持ち上げる方向が＋である．

しているのはロボットがバックしているせいではなく，ボカーペット上とゴムマット上では獲得された動作にはやディが左右に旋回しているためである．ロボットはカーペッや違いが見られた．カーペット上では，ボディは容易に床トおよびゴ ムマット 上の両方の設定において 6000 ステッ

をすべることが可能なのでしばしばボディを引きずる動作

プ (約 50 分) 以下で良好な挙動を獲得している．10000 スが見られた．これは，支持脚で体重を支える動作よりも前テップ後の実際の移動速度は約 5cm/sec である．グラフ上進させる動作を優先して学習した結果と考えられる．一方，に現れているカーペットおよびゴ ムマット上での性能の違

摩擦の大きなゴ ムマット上では，ロボットのボディが床かいは，単にカーペットとゴ ムマットの大きさの違いに起因ら離れた状態を保持し続ける傾向が見られた．これらの結する．ロボットがマットの端まで移動すると，観測者はロ

果は，ロボットがそれぞれ周囲の状況に応じて適応的に動ボットを持ち上げて向きを変えるが，この期間もロボット作を獲得できたことを示している．

は学習を続けている．ロボットが持ち上げられている間は電学論 C，122 巻 3 号，平成 14 年

10time step

比較的よく滑べるカーペット上および摩擦の大きなゴ ム
は10time step5

図 7 カーペット上にて 10000 ステップ（約 80分）学習後に得た動作の一例．

図 8 ゴムマット上にて 10000 ステップ（約 80分）学習後に得た動作の一例．

Fig. 7. Learned behavior on the carpet after 10000
steps (about 80 minutes).

Fig. 8. Learned behavior on the rubber mat after
10000 steps (about 80 minutes).

6

T.IEE Japan, Vol. 122-C, No.3, 2002

強化学習による４足ロボットの歩行動作獲得

ボティクス的に好ましい動作が獲得できるだろう．
5.

考（平成 13 年 7 月 24 日受付，同 13 年 10 月 18 日再受付）

察

Actor での行動選択に正規分布を用いる方法は行動選択

文

時に必要な計算と学習時の計算が単純で簡単だという優れ

1, Vol.38, No.10, pp.618{623 (1999).
2 Watkins, C. J. C. H. & Dayan, P.: Technical Note: Learning, Machine Learning 8 , pp.279{292 (1992).
（ 3 ） 堀内 匡，藤野 昭典，片井 修，椹木 哲夫：連続値入出力を扱うファジィ内挿型 Q-learning の提案，計測自動制御学会論文集, Vol.35,
No.2, pp.271{279 (1999).
（ 4 ） Sutton, R. S. & Barto, A.: Reinforcement Learning: An Introduction, A Bradford Book , The MIT Press (1998).
（ 5 ） Bertsekas, D.P. & Tsitsiklis, J.N.: Neuro-Dynamic Programming , Athena Scienti c (1996).
（ 6 ） Tsitsiklis, J. N., & Roy, B. V.: An Analysis of TemporalDi erence Learning with Function Approximation, IEEE
Transactions on Automatic Control, Vol.42, No.5, pp.674{690(1997).
（ 7 ） Santamaria, J.C., Sutton, R.S. & Ram, A.: Experiments withReinforcement Learning in Problems with Continuous State
and Action Spaces, Adaptive Behavior 6 (2), pp.163{218(1998).
（ 8 ） 深尾 隆則，稲山 典克，足立 紀彦：正則化理論を用いた連続的状態と行動を扱う強化学習，システム制御情報学会論文誌，Vol.11,
No.11, pp.593{599 (1998).
（ 9 ） Moore A.W. & Atkeson, C.G.: The Parti-game Algorithm
for Variable Resolution Reinforcement Learning in Multidimensional State-spaces, Machine Learning 21 , pp.199{233(1995).
（ 10 ） 矢入 健久，堀 浩一，中須賀 真一: 複数行動結果を考慮した最尤推定に基づく状態一般化法，人工知能学会誌, Vol.16, No.1, pp.128{138(2001).
（ 11 ） Doya, K.: EÆcient Nonlinear Control with Actor-Tutor Architecture, Advances in Neural Information Processing Systems 9 , pp. 1012{1018 (1997).
（ 12 ） Morimoto, J. & Doya, K.: Acquisition of Stand-up Behavior
by a Real Robot using Hierarchical Reinforcement Learning,
Proceedings of the 17th International Conference on Machine Learning , pp.623{630 (2000).
（ 13 ） Barto, A.G., Sutton, R.S. & Anderson, C.W.: Neuronlike
adaptive elements that can solve diÆcult learning control
problems, IEEE Transactions on Systems, Man, and Cybernetics , vol. SMC{13, no.5, pp. 834{846 (1983).
（ 14 ） Singh, S. P. & Sutton, R.S.: Reinforcement Learning with
Replacing Eligibility Traces, Machine Learning 22 , pp.123{
158 (1996).
（ 15 ） Baird, L. & Moore, A.: Gradient Descent for General Reinforcement Learning, Advances in Neural Information Processing Systems 11 , pp.968{974 (1999).
（ 16 ） 木村 元，小林 重信：Actor に適正度の履歴を用いた Actor-Critic
アルゴ リズム{ 不完全な Value-Function のもとでの強化学習，人工知能学会誌, Vol.15, No.2, pp.267{275 (2000).
（ 17 ） Sutton, R. S., McAllester, D., Singh, S. & Mansour, Y.: Policy Gradient Methods for Reinforcement Learning with Function Approximation, Advances in Neural Information Processing Systems 12 (NIPS12) , pp. 1057{1063 (2000).
（ 18 ） Williams, R. J.: Simple Statistical Gradient Following Algorithms for Connectionist Reinforcement Learning, Machine
Learning 8 , pp. 229{256 (1992).
（ 19 ） Konda, V.R. & Tsitsiklis, J.N.: Actor-Critic Algorithms, Advances in Neural Information Processing Systems 12 , pp.
1008{1014 (2000).

た特徴を有している (18) (11) (16) が，本ロボットにそのまま（ ） 木村 元，宮崎 和光，小林 重信：強化学習システムの設計指針，計
測と制御
（ ）
Q

実装すると学習に失敗する．失敗の主な原因は，actor が行
動空間の定義域についての情報を利用していないことに起因する．従来の正規分布による行動選択では，actor が定
義域外の行動を選んだ場合，ロボットはそれを実行したふりをするが，実際には定義域境界上の行動を実行する．もし分布の平均を示すパラメータが定義域のはるか外側の値になってしまったら，ロボットはランダムな行動をとることがほとんどできなくなり，学習できなくなる．提案手法
ではこの問題を単に定義域外の行動選択を棄却することで回避している．しかしその代償として適正度の計算に数値
積分の微分演算という余計なコストが要求される．
本実験の critic で用いた粗い分割による量子化は高次元の状態空間を扱う方法として有望だが，非マルコフ性が生じ，またそのように粗く近似された価値関数から良い政策を導くことは困難という問題点がある．本実験の結果は，actor の適正度の履歴が上記の問題点の解決に有効である
ことを示している．文献 (19) では状態-行動価値関数の近似における状態特徴ベクトルとして actor の適正度を使うべきであると主張している．彼らの手法は理論的な根拠に基づいており，高次元空間に対しても有望なため，この手法との組み合わせることでさらに性能向上が期待できる．
政策勾配定理 (policy gradient theorem) (17) により，ac-

tor は政策パラメータで行動選択の分布関数を微分さえできれば政策関数表現に非線形関数でも用いることができる．
この政策関数表現における柔軟性は，エキスパートの知識を政策に埋め込む場合に便利である．エキスパートの知識
は状態入力とそのとき出力すべき行動のペアで与えられる
場合がほとんどなので，教師付き学習のノウハウを応用できる．よって actor に Fuzzy-logic や Neural net など を用いればこのような知識を組み込むことが容易だという実用的特徴がある．それに対し Q-learning など value-basedな手法では value 関数近似に linear architecture 以外の方法を用いると更新アルゴリズムが極めて複雑になる．設計者の知識を value 関数という形式で表現することも困難である．
本実験では，政策表現にシグモイド 関数や正規分布を利用する部分が「エキスパートの知識の組み込み」に相当する．このおかげで少ないパラメータを用いて妥当な政策表現が可能となり，探索すべき空間が小さくなり，実時間で学習できたと考えられるが，同時に政策表現の柔軟性が制約される．
獲得された動作では，ボディを引きずるなど 好ましくないように思える動作が見られた．ボデ ィが床についている
かど うかや，エネルギ ーなどを報酬に反映させればよりロ
電学論 C，122 巻 3 号，平成 14 年

献

7

付

木

録

元 （正員） 1997 年東京工業大学大学院知能科学専攻

村

博士課程修了，同年 4 月日本学術振興会 PD 研究員，1998 年 4 月，東京工業大学大学院総合理工学研究科助手，現在に至る．人工知能，特に強化
学習に関する研究に従事．

山

透 （非会員） 2001 年東京工業大学大学院知能システ

下ム科学専攻修士課程修了，同年 4 月任天堂（ 株）
に所属．

小

林

重

信 （非会員） 1974 年東京工業大学大学院博士課程経営工学専攻修了．同年 4 月，同大学工学部制御工学科助手．1981 年 8 月，同大学大学院総合理工学研究科助教授．1990 年 8 月，教授．現在に至る．
問題解決と推論制御，知識獲得と学習など の研究に従事．

8

T.IEE Japan, Vol. 122-C, No.3, 2002