確率的傾斜法を用いた強化学習とロボットへの適用
非会員

木 村

元

東京工業大学 大学院総合理工学研究科

非会員

キーワード ：
強化学習，ロボット

6小 林

重 信

東京工業大学 大学院総合理工学研究科

エージェント（コントローラ ）?

状態観測 xt

行動 at

報酬

6rt

環境（プラント ）図1

1.

強化学習の枠組。エージ ェントは試行錯誤を通じて適切な制御規則を獲得し てい く。

(A)

はじめに

強化学習は，試行錯誤を通じて制御規則を自動的に獲得

図 2 学習対象としたロボット 機構とその模式図。Aはボデ ィから２節リンクアームが 張り出す構造を持ち，B はボデ ィにねじりと曲げを行う構造を持つ。各ロボット 後方（ 写真右側）に見えるのは移動距離計測器である。A と B はメカニズム的に全く異なるが ，両方へ完全に同じ学習アルゴリズムの適用を試みる。

する学習制御の枠組として有望である。本稿は強化学習アルゴ リズムの１つである確率的傾斜法をロボットへ適用した例について紹介し，強化学習のメリットについて述べる。
2.

(B)

強化学習の枠組とその特徴

強化学習の枠組を図1に示す。エ−ジェントは ，利得指示しておくだけで「どのように実現するか 」をエ−ジェ

return: 最も単純な場合，報酬の総計）の最大化を目的として，状態観測から行動出力へのマッピング（政策（ policy ）（ントが学習によって自動的に獲得する枠組となっている。
応用上，強化学習を用いることにより以下のメリットがあと呼ばれる）を獲得する。環境やエ−ジェントには一般にると考えられる。

 十分に優れた性能を持つ強化学習エージェントをコン下記の性質が想定される。

 エ−ジェントはあらかじめ環境に関する知識を持たない
 環境の状態遷移は確率的
 報酬の与えられ方は確率的 状態遷移を繰返した後，やっと報酬にたどり着くようトローラとして１つだけ開発しておけば，あとはロボッ
トの目的に応じて報酬の与え方だけを設計者が設定するだけで，あらゆる種類のロボット制御方法を同一のコントローラによって自動的に獲得できる。

 試行錯誤を通じて学習するため，人間のエキスパートな，段取り的な行動を必要とする環境（報酬の遅れ ）強化学習が注目を集める理由の一つは，不確実性のある環が得た解よりも優れた制御方法を発見する可能性があ境を扱っている点にある。多くの実世界の制御問題においる。特に環境に不確実な要素（摩擦やガ タ，振動や誤て，厄介な不確実性の扱いが求められる。もう一つの理由

差など ）が多い場合，人間の常識はあてにならないのは，報酬に遅れが存在し，離散的な状態遷移も含んだ段取で，強化学習の効果が期待できる。エキスパートの制り的な制御規則の獲得を行う点にある。設計者がゴ−ル状

御規則を学習初期状態に設定して，それを改善する場態で報酬を与えるという形で，させたいタスクをエ−ジェ合と，全くのゼロから学習を開始し，設計者にとってントに指示しておけば ，ゴ−ルへの到達方法はエ−ジェンは意外な新しい解を発見する場合とが考えられる。まトの試行錯誤学習によって自動的に獲得される。つまり，設た，プラント特性の経年劣化等の環境変化に対して自計者は「 何をすべきか 」をエ−ジェントに報酬という形で動的に追従することも期待できる。
強化学習の詳細な理論的解説は，文献 (1)〜(4) (6)〜(9) を参照。

Reinforcement Learning using Stochastic Gradient Algorithm
and its Application to Robots
By Kimura Hajime, Non-member and Kobayashi Shigenobu,
Non-member (Interdisciplinary Graduate School of Sci. and Eng.,Tokyo Institute of Technology)
電学論 C，119 巻 8 号，平成 11 年

ロボット の歩行制御規則の獲得問題

3.

2

図 に示すように，モータを２個搭載した２自由度の機1構を持つロボット

A および B に対し，完全に同一の強化エージェント-学習アルゴリズムを適用し，効率よく前進する動作の獲得

Actorxtを試みる。エージェントが獲得すべき制御規則は，現在の確率的政策 

6関節の角度を状態入力として与えられたとき，前進するような動きとなるようにモータの目標値とすべき関節の角度

行動 at の強化信号

rt + V^ (xt+1 )を出力することである。ロボットの学習目標は，効率よく前進することなので，各時刻におけるボディの前進速度を-xt

エージェントが報酬として受け取るよう設定する。エージェ

atV^ (xt )Critic V^ (x)TD-error

ントとロボットは以下のやりとりを行う。
（1 ） エージェントは状態観測としてロボットの関節の（2 ） エージェントは行動出力として関節モータの角度

状態観測

角度1 ; 2を受け取る

rt

報酬

行動?

環境の目標値 a1 ; a2を出力

図 3 Actor-Critic アルゴリズムの構成

3 ） ロボットは目標角度の方向へ各モータを動かす。
（ 4 ） 約 0.2 秒後，ロボットはボデ ィが移動した距離を（【エージェントの学習手順】

1 ） 初期化：エージェントは actor 用の記憶変数 w1〜w6，w1xy ; w2xy （ x; yはそれぞれ 1〜6 の整数）およびそれぞれに対応した記憶変数 Trace1〜Trace6，Trace1xy ，Trace2xy ，Critic 用の記憶変数V^xy を用意し，値を全て 0 に初期化する。
（ 2 ） 状態観測：エージェントは環境において状態1 (t)，2 (t) を観測する。
（ 3 ） 行動決定：Actor において以下の処理により行動a1; a2を選択する。状態観測のレンジは 0〜255 なので，この区間を 6 等分し，分割した区間を 1〜6 の整数でラベル付けする。観測した状態1 (t); 2 (t) が含計測し，その値を報酬としてエージェントに与える。

（（5 ） ステップ 1 に戻って繰り返す。

上記のように設定することにより，ロボットを効率よく前進させる学習問題は，エージェントが利得（報酬の総計）を最大化するよう政策を探索する最適化問題へ帰着される。
ここで注目すべき点は，ロボット

A と B が メカニズム的に全く異なるにもかかわらず，強化学習問題として見ると同じ 問題になることである。よって，ロボット

A へ適用可能な強化学習アルゴ リズムは，何も変更することなくロB にも適用可能である。

ボット

状態観測である関節の角度1 ; 2および行動出力である関
ま節モータの角度の目標値 a1; a2は，それぞれ から0255

まれる区間のラベル番号をそれぞれ i; jとする。以

128〜127 の範囲の整数値をとり，ボディが移動しない場合は 0 である。

での整数値をとる。報酬の値は下の1 ，2 ，1 ，2を計算する。

(1 128) w + (2 128) w + 2  w1
12ij
3232
1
1 =1 exp( w3 )( 128) w + (2 128) w + 2  w2
2 = 145ij
32
32
1
2 =1 exp( w6 )Actor は中心値1 ，標準偏差1のガウス分布 N (1; 1)を用いて a1 = 32 N (1; 1) + 128 として行動 a1を選択する。同様に a2 = 32 N (2 ; 2) + 128 として
1 =関節を駆動するモータとして模型用のサーボモータを用いたため，本実験における状態観測1 ; 2は，直前のステップにおいてエージェントが出力した行動 a1 ; a2に等しい値とした。よって，エージェントが毎ステップにおいて直前のステップで出力した値とは大きく異なる値（値の差がおおむね80 以上）を出力した場合，モータの応答が追い付かないため，エージェントが観測する角度状態とロボットの真の角度とが食い違う場合がある。これは隠れ状態問題 (4)と呼ばれる。

{

本実験では 上記のような観測入力 行動出力に対応可能で，さらに隠れ状態問題も対処可能な確率的傾斜法に基づくActor-Critic アルゴリズム

4.

(5)

行動 a2を選択する。

を用いた。

（強化学習アルゴリズムの実装

本実験では確率的傾斜法に基づく3

たに観測した状態の含まれる区間のラベル番号を I ，Actor-Critic アルゴ リJ とし，以下の TD-error を計算する。

hi(TD-error) = rt + V^I;J V^ij ,(0   1) は割引率，V^ は Critic が推定した割ズム（ 図 ）を用いる。このアルゴ リズムは，行動選択の確率分布を規定する確率的政策の関数形が明示的に与えられると，アルゴリズムの一般式に当てはめることにより，処理すべき計算をほぼ 一意に導くことが可能である。本実引報酬の期待値を表す。

験では以下のような処理によって学習が行われるが，これらの式は文献

4 ） TD-error の計算：Critic は報酬 rtを受け取り，次の状態1 (t + 1)，2 (t + 2) を観測する。このとき新(5) の実装を参考にすると簡単に導出できる。

（25 ） 以下の適正度を計算する。
T.IEE Japan, Vol. 119-C, No.8, '99

特集解説(1 128) (a1 128)32
32
( 128) (a1 128)e2 = 232
32 !
 a 128 21e3 =12 (1 1 )32
( a 128= i & y = j for all x,y.
e1xy = 0 16 xotherwise( 128) (a2 128)e4 = 13232(2 128) (a2 128)
e5 =3232 !

2a2 128e6 =22 (1 2 )32
( a 128= i & y = j for all x,y.
e2xy = 0 16 xotherwise
e1 =5.

= 0:9，学習率 = 0:1， p = 0:002に設定した。移動距離を計測するために１回転 200 パルスのロータリーエンコーダに直径 3cm の車輪を付け，パルス
本実験では割引率の個数を報酬の絶対値，回転方向を報酬の符号として計測

1は分程度である。
学習によってエージェントが得た報酬の累積，すなわち4A
B は全く異なるメカニズムであるにもかかわらず，どちらのロボットも順調に学習を始めている。ロボット A の3000 ステップ付近と 4500 ステップ付近や，B の 2500 ス
スタート位置からロボットが移動する様子を図 に示す。とテップ付近において，報酬の獲得ができなくなるような状況に陥っている。これは，より多くの報酬を得るように政策の改善を進めていくうち，うまくいけばかなり効率よく

6 ） 適正度を用いて適正度の履歴を更新：
Trace1 e1 + Trace1
Trace2 e2 + Trace2
Trace3 e3 + Trace3
Trace1xy e1xy + Trace1xy , for all x,y.
Trace4 e4 + Trace4
Trace5 e5 + Trace5
Trace6 e6 + Trace6
Trace2xy e2xy + Trace2xy , for all x,y.
（ 7 ） 適正度の履歴と TD-error を用いて重み変数更新：
w1 w1 + p Trace1 (TD-error)
w2 w2 + p Trace2 (TD-error)
w3 w3 + p Trace3 (TD-error)
w1xy w1xy + p Trace1xy (TD-error),for all x,y.
w4 w4 + p Trace4 (TD-error)
w5 w5 + p Trace5 (TD-error)
w6 w6 + p Trace6 (TD-error)
w2xy w2xy + p Trace2xy (TD-error),for all x,y.
ただし pは actor の学習定数を表す。
（ 8 ） TD 法を用いて critic の value の推定値を更新：
V^ij V^ij + (TD-error)

進めるが，ちょっとしたはずみで進めなくなるような，き（わどい動きを獲得し，さらに学習を進めようとして行き過ぎたためと考えられる。しかし ，しばらく後には再び前進A Bする動きに改善している。 ， 共に習はまだ収束していない。

5000 ステップでは学

5

学習により獲得した動作の例を図 に示す。ロボット

5

Bについては，おおむね図 に示した動作に類似する動作し観察されなかった。ところがロボット

A は図 5に示した動作以外にも学習途中においてさまざ まなパターンが見られ，常に変化が観測された。特に，アーム先端を地面に触れたまま，アームを激しく上下に動かすと同時にアーム自身も曲げたり伸ばしたりして，尺取虫のように移動する様子が観測された。これはアームを下に動かすときはアーム先端と地面との摩擦力が増すため，このときアームを曲げると前進しやすく，逆にアームを上に動かすときは摩擦力が減るため，このときアームを伸ばすとほとんど後退することがないことを利用するものである。特に本実験で用いた機構では，重心の位置の都合により常に前進し続けるような動き方も存在するようである。このような動作は実際に試行錯誤しない限り，獲得したり予測するのは困難である。
本実験で使用した学習アルゴ リズムでは，報酬獲得につながるのであれば探索的なランダム動作を自動的に減らすようになっているが，実験では5000 ステップの時点においてもランダムな動作が残った。さらに学習を続けるとどうなるのかについては別の機会に述べる。
6.

おわりに

本稿では，異なるメカニズムを持つロボットの制御規則獲得問題を取り上げ，試行錯誤による学習の例を示した。達
成させたいタスクを「報酬」という形式で記述して強化学習の枠組を適用することによって，全く異なるメカニズム

ただし は学習率である。

を持つ２種類のロボットを同一の学習アルゴ リズムによっ9 ） ステップ（ 2 ）から繰り返す。

電学論 C，119 巻 8 号，平成 11 年

1000 パルスはおよそ 50cm の距離になる。実験
5000 ステップ程度の学習を行った。実時間でおよそ 12した。報酬2（

実験結果てタスクの達成方法を自動的に獲得できることを示した。
39000
8000(A)

Accumulated Reward

7000
6000
5000
40003000
2000
100000500

1000

1500

2000 2500 3000
Learning Steps

3500

40004500

5000

9000
8000(B)

Accumulated Reward

7000
6000
5000
4000
3000
2000

図 5 強化学習による試行錯誤を通じて得た動作例

100000500

1000

1500

2000 2500 3000
Learning Steps

3500

4000

4500

troduction, A Bradford Book , The MIT Press (1998).
Technical Note: QLearning, Machine Learning 8 , pp. 279-292 (1992).

5000（ 9 ） Watkins, C. J. C. H. and Dayan, P.:

図 4 ロボット A，B の学習による移動距離の変化

強化学習の枠組は，ロボット以外にもさまざ まな問題へ適

木元 （非会員） 1992 年東京工業大学工学部制御工学科

村

用可能であり，今後は従来設計者が問題に応じて制御規則卒業。1994 年同大学大学院総合理工学研究科知をプログラムしていた作業の多くを自動化していくものと能科学専攻修士課程修了。1997 年同大学大学院期待される。

博士課程修了，同年 4 月日本学術振興会 PD 研究員，1998 年 4 月，東京工業大学大学院総合理工（平成年月日受付，同年月日再受付）学研究科助手，現在に至る。人工知能，特に強化学習に関する研究に従事。人工知能学会，計測自文動制御学会，日本ロボット学会各会員。

献（ 1 ） Bertsekas, D.P. & Tsitsiklis,J. N.: Neuro-Dynamic Pro-gramming , Athena Scienti c (1996).

小（ 2 ） Kaelbling, L. P., & Littman, M. L., & Moore, A. W.: Rein-林

重信 （非会員） 1974 年東京工業大学大学院博士課程経営工学専攻修了。同年 4 月，同大学工学部制御工forcement Learning: A Survey, Journal of Arti cial Intelligence Research , Vol. 4, pp. 237{277 (1996).
（ 3 ） 木村 元，山村 雅幸，小林 重信: 部分観測マルコフ決定過程下での強化学習：確率的傾斜法による接近，人工知能学会誌, Vol.11, No.5,pp.761{768 (1996).
（ 4 ） 木村 元，Kaelbling, L. P.: 部分観測マルコフ決定過程下での強化学習，人工知能学会誌, Vol.12, No.6, pp.822{830 (1997).
（ 5 ） Kimura, H. & Kobayashi, S.: An Analysis of Actor/Critic
Algorithms using Eligibility Traces: Reinforcement Learningwith Imperfect Value Function, 15th International Conference on Machine Learning , pp.278{286 (1998).
（ 6 ） 木村 元，小林 重信: ロボットアームのほふく行動の強化学習：確率的傾斜法による接近，人工知能学会誌, Vol.14, No.1, pp.122{130(1999).
（ 7 ） 宮崎 和光，小林 重信: 離散マルコフ決定過程下での強化学習，人工知能学会誌, Vol.12, No.6, pp.811{821 (1997).
（ 8 ） Sutton, R. S. & Barto, A.: Reinforcement Learning: An In-

学科助手。1981 年 8 月，同大学大学院総合理工学研究科助教授。1990 年 8 月，教授，現在に至る。問題解決と推論制御，知識獲得と学習など の研究に従事。人工知能学会，計測自動制御学会，情報処理学会各会員。

4T.IEE Japan, Vol. 119-C, No.8, '99