報酬駆動型環状ロボットの実現と評価○荒牧 岳志, 木村 元, 小林 重信
東京工業大学Realization and Assessment of Reward Driven Ring Robots○Takeshi Aramaki, Hajime Kimura, Shigenobu Kobayashi
Tokyo Institute of Technology
Abstract:
Abstract

Reinforcement Learning is a self-adaptive learning framework and obtains control rules throughinteraction with the environment.

In this paper, we treat a control method of a movement of a ring robotthat consists of circular five-links.

We apply reinforcement learning to the problem and choose Actor-Critic

based Stochastic Gradient Ascent as its algorithm. 'Actor' module operates as an action selector using one
Gaussian distribution.

However, this method requires much time for its learning.

actor module that acts in accordance with several Gaussian distribution.

This paper proposes

And we indicate that it is useful for

reducing learning time through control tasks in the ring robot.

1

われる確率傾斜法に基づく actor-critic5)を用いる。

はじめにほふくロボットや４足歩行ロボットなどの先行研究
ロボットの制御規則獲得など、教師なしの学習法とし

6) として行われている正規分布を確率的政策として用て「強化学習」3)が注目されている。だが、連続で膨大いた actor-critic では、RBF を用いることで環境に応じな行動を持つ実問題では、実時間で学習するのが困難て適応的に学習ができるものの、行動の探索空間が広であるなど、まだまだ問題がある。

く、学習時間がかかり過ぎるという問題が生じる。

強化学習の問題として、５つのリンクを環状に結んだ

また、別の先行研究9)として確率的2分木の行動選択

ロボット(fig.1) の前進動作を行う制御手法の獲得問題を用いたactor-criticが提案されている。この手法は、1)2)を取り上げる。このロボットはでんぐり返し動作を探索領域を階層的に縮め、学習時間を短くするのに有繰り返すことによって前に進む事ができる。人間がこ効な方法である。しかし、学習が進むにつれて最適とのモデルを設計する事は困難で、従来の制御手法を適見積もられる政策が変化する場合には、問題が生じ、用し前進させることが難しい。本研究では強化学習を適応的な学習が困難であることを本研究で示す。

用いてこのロボットの前進動作を獲得する。

そこで、複数の正規分布基底を重みづけ足し合わせた強化学習のアルゴリズムとして代表的なものに、ものを政策の確率密度分布として用いる事で、行動空

Q-learning4)等があるが、本研究では容易に連続値の行間中で有望と思われる領域を大まかに探索し、さらに動を扱う事ができ、状態観測の不完全性にも強いと言その行動を微調整していく行動選択法および政策表現法を提案する。領域で探索することにより、探索領域

FreeJoint3を縮めることができ、学習速度を速くすることができる。また、その行動の微調整を行うことで、動的な環

Motor1FreeJoint2

境の変化にも追従できるような適応的な学習が行える。
本研究では、ロボットの前進動作の学習を、提案手法を用いる事により、より少ない時間で獲得できる事を、FreeJoint1
Motor2

Fig. 1 ５角形環状ロボットのモデルシミュレーションおよび作成した実機での実験により示す。

1. 学習エージェントが環境より時刻 t の状態 sを観測し、確率 π (at | θ, st ) により行動 a を決学習エージェント
状態 stActor

め、実行する。 θ は政策パラメータ。

確率的政策 π ( at | θ , st )2. 報酬 rt 及び状態 st +1 を観測する。TD − error を次の式で計算する。
(TD − error) =rt + γVˆ ( st +1 , ω) − Vˆ ( st , ω)TD-errorrt + γVˆ (st +1 ,ω) − Vˆ (st ,ω)Critic

評価値 Vˆ ( s t , ω )(1)

γ (0 ≤ γ ≤ 1) は 割 引 率 、 value 値 Vˆ ( st ,ω ) はcritic が出力した割引報酬の期待値を表す。 ωは Vˆ ( s ,ω ) を推定するためのパラメータ。

報酬 rt

t

3. TD 法で critic の V ( st ,ω ) を更新。
∂ ˆV ( st , ω)∂ωev (t ) ← ev (t ) + et (t )ev (t ) =環境(環境(ロボット／シミュレータ)ロボット／シミュレータ)
Fig.2

2

Actor-Critic の一般的な枠組∆ω (t ) = (TD − error)et (t )ω ← ω + α v ∆ω (t )５角形ロボット

ev は ω の eligibility(適正度)を表し、 ev はその5 角形ロボットは Fig.1 のようなモデルで５つの関節に２つのモータと３つの自由に回転ができる関節がある。5 角形ロボットは、自由度は２であるため、２つの(2)trace(履歴)を表す。 α v は critic の学習率。
4. TD-error で actor π (at | st ,θ ) を更新。

また、各関節を結ぶリンクには離散的な信号の傾斜セ∂ln(π (at | θ , st ) )∂θeπ (t ) ← eπ (t ) + eπ (t )ンサがついており、ある程度の姿勢を知ることができ∆θ (t ) = (TD − error)eπ (t )る。しかし、これらのセンサは離散信号で on, off の 2θ ← θ + α π ∆θ ( t )値しか分からない。よって、本問題は、現在の姿勢角

eπ は θ の eligibility を表し、eπ はその trace をeπ (t ) =モータで角度を決めることで形が決まる。

や回転速度が完全には観測できないなど大きな隠れ状態を含んだ問題であり、ヒューリスティックにコントローラを設計するのは難しい。

3表す。 α π は Actor の学習率。
5. Eligibility を下の式で割り引く。
ev (t + 1) ← γλv ev (t )eπ (t + 1) ← γλπ eπ (t )強化学習アルゴリズム

3.1 Actor-Critic
本研究では、強化学習のアルゴリズムとして、容易に状態・行動空間が連続値を用いる事ができ、隠れ状態問題に対して頑健とされる actor-critic アルゴリズムを用いる。
Actor-critic アルゴリズムの一般的な枠組を Fig.3-1に示す。状態入力に対して行動出力への確率分布 π を決定する actor と、状態に対する評価の推定値の保持・更新する critic の２つのモジュールから構成されている(fig.2)。 θ ,ω はそれぞれ、actor と critic で使用する内部パラメータである。
Fig.3 は、本ロボットに適用した eligibility trace(適(3)(4)λv と λπ (0 ≤ λv , λπ ≤ 1) は適正度の履歴の割引率。
6.

t ← t + 1 として 1.に戻る。
Fig.3

Actor-Critic のアルゴリズム正度の履歴)を用いた actor-critic の詳細である。Criticの評価値の更新は TD(λ ) 法で TD(λ = λv ) である。対して actor の更新は TD(λ ) とはやや異なる（詳しくは文献[5]参照）。

3.2 複数の正規分布基底による政策の提案
3.2.1µ k ,i =従来手法の問題点と提案手法の利点1 − exp(−∑θ σk ,i , j x j )j

1 + exp( −∑θ σk ,i , j x j )j

４足歩行ロボットなどの先行研究6)で用いられてきた

σ k ,i =１つの正規分布を政策の確率密度関数として使う従来

11 + exp( −∑θ σk ,i , j x j )(8)jmk = exp(−∑θ σk ,i , j x j )手法は、学習初期において、行動探索はその正規分布jの中心に行われることが多く、また、その正規分布基底の平均値を学習するのに多くの時間がかかる。これ

3.2.3

行動選択の手順

行動選択の手順は次のようになる。

は、学習時間がかかる原因になっている。
また、２分木などの離散的な行動の選択を行うアルゴ
リズム9)では、適切な政策の確率密度分布が固定である

1. まず、 p (k '| x, θ ) = mk '時、効果を表し、後の実験で示すように５角ロボット∑ m の確率で k ' 番目のj =1j正規分布基底を選択する。のような学習とともに適切な政策の確率密度分布が動2. 正規分布 N (μk ' , σ2k ' ) の確率で行動 a を選ぶ。

的に変わるという問題に対しては、弱いと考えられる。

3. 選択した行動 a が行動の定義域 A の中でなければ、そこで本研究では、複数の正規分布基底を重み付け足1.の選択からやりなおす。
この選択法によって得られた行動 a は式(6)を満たす。

し合わせたものを政策の確率密度関数とすることを提案する。学習初期は各基底の重みを学習することで探索空間を大まかに絞ることができ、その後、残った正4実験および結果の考察規分布基底の平均値および標準偏差の値を学習させる。
探索空間を絞ることで学習を速くすることができ、基５角形環状ロボットの実験は、シミュレーション及び底の移動で、動的に変わる環境の変化にも追従できる製作した実機で行う。実験の目的は、強化学習を用いと考えられる。て、5 角形ロボットを前進させる動作を実ロボットで実時間に学習させることである。

3.2.2

政策表現

N 個あるうちの k 番目の正規分布基底の確率密度関数 g (a | k , x,θ ) は、平均値を µ k , i 、標準偏差を σ k , i とす

５角形ロボットに actor-critic アルゴリズムを実装す

ると次の式で表すことができる。

 1 (a i − µ k ,i ) 2 exp−(5)σ k2,i 22π σ k ,i1dg ( a | k , x, θ ) = ∏i =1N(6)とする。ここで、 α は正規化定数で、∫ ∑ m g (a | k , x, θ ) daa∈Ak =1(7)kである。また、ここで、 mk は k 番目の正規分布基底に対する重みで、x は状態 s の特徴ベクトルである。各正規分布パラメータは以下の式で計算を行う。

強化学習の行動は２次元ベクトル at で表すことにの連続値の値域を持つ。５角形ロボットはその形からモータの角度に制約条件があり、 a1, a 2 は次の式で角指令値として用いる。

1N・行動表現
行動表現

度 θ 1,θ 2 [rad]に写像し、これをサーボモータの角度k =1

α=る上で、次のような設定を行った。

し、その要素を at = {a1, a 2} で表す。a1, a 2 は [ −1,+1]

政策の確率密度関数 π (a | x, θ ) をπ (a | x, θ) = α ∑ mk g (a | k , x, θ )4.1 ５角形ロボットへのアルゴリズムの実装

ππ
9π15
a1a2 +a1 + a2 + π
1224624ππ
9π15θ 2 = − a1a2 +a1 − a2 + π
1224624θ1 =(9)

・状態表現
状態表現
状態を７次元ベクトル st = {s1, s 2, s 3, L , s 7} とする。
本研究で用いているサーボモータは角度を測ることができないので、s1 , s 2 は時刻 t − 1 の a1, a 2 の値をそのまま使うことにする。 s 3 ~ s 7 は現在のセンサの状態とする。s1 s 2 は、[ −1,+1] の値域を持つ連続値で、critic のパラメータ ω, ev は全て 0 に初期化する。

s 3 ~ s 7 は 0 または 1 の離散値である。
4.2 実験結果

・報酬設定
報酬設定
本研究ではロボットが前進することを目標にしているので、報酬は単位時間にロボットが前進した距離

まず、シミュレーションを用いて、正規分布を使ったとする。ただし、ロボットには距離を測る装置はない

従来手法6)と２分木を使った従来手法9)、複数の正規分ので、センサの状態の遷移から実際に進んだ距離を推布基底を用いた提案手法の3つについて実験を行った。

定する。ロボットが１回転すると 10 の報酬が入るよ

割引率を γ = 0.95 とし、学習率は α π = 0.5 、 α v = 0.1 、うにする。

λ π = λ v = 1.0 とした。複数の正規分布を用いた手法では、基底の数を N = 25 とし、初期配置は格子状にした。２

また、各アルゴリズムでは RBF を使って状態 s を特分木による手法では、各行動軸を 16 分割し、２分木構徴ベクトル x に局所化して用いる。ここで、 i 番目の造で確率的に選択するようにした。学習の 1step をRBF のガウス関数を、300ms とし、それぞれ 100000step を 5 試行行い、平 n ( si − µ gi , j ) 2 (10)f gi (s) = exp − ∑ j =1 2σ gi2 , j とする。 µgi , σgi はガウス関数の平均値、標準偏差であ均を求めた。
実験結果を fig.5 に示す。また、見やすくするために、1000step の移動平均をとっているものをグラフにした。
縦軸の reward/step は、ロボットの前進速度を表す。

る。
本研究では RBF の出力は以下のように正規化する。

学習が行え、しっかりしたロボットの前進動作が得らn'∑ f gj (s)xi = f gi (s)正規分布を用いた従来手法と提案手法では、きれいに(11)j =1れている。そして、提案手法は従来手法の約２倍の学習速度が得られた。

本研究では、ガウス関数の平均値 µgi と標準偏差 σgi

しかし、２分木を使った Actor-Critic では、途中、ロは学習しないことにする。そして、各 RBF ユニットをボットの回転動作が止まることがあり、学習がうまく状態の s1 s 2 軸に対しては３個、s 3 ~ s 7 軸に対しては２行えなかった。

個、格子状に配置した。計 3 × 2= 288 個の RBF ユニットの標準偏差は一律 σ gk ,i = 0.2 とする。
また、断りのないときは、actor のパラメータ θ, eπ と25Fig.4 は、正規分布を使った従来手法と提案手法におけるある状態における確率密度分布を表し、×印は正規分布基底の平均値を表し、円は標準偏差を表す。

10000step 後

学習初期

20000step 後-1-1-1a2a2a2+1-1

a1+1+1-1a1+1+14000step 後

学習初期-1-1a2a2a2-1a1+1+1-1a1a1+18000step 後-1+1-1+1+1-1Fig.4 各学習ステップ数における基底の動き。従来手法 N = 1 (上段)a1+1

提案手法 N = 25 (下段)

1.25

提案手法

Reward/Step10.750.5

２分木の従来手法

0.25

正規分布の従来手法

0025000

50000

75000

100000

Step

Fig.5 各手法によるシミュレーション結果
提案手法は正規分布を用いた従来手法に比べ学習速度が速くなっている。また、２分木を用いた actor-critic では、たまに動作が固まることがあり、分散が大きくなっている。

1.254925

1Reward/Step

91000.75

10.50.25

4000025000

50000

75000

100000Step

Fig.6 複数基底を用いた手法の学習曲線
グラフ中の数値は正規分布基底の数 N を表す。基底数 1 の時は正規分布を用いた従来手法と等しくなる。基底数が25,49 といったあたりで学習速度が最も速くなっている。

0 .7 5

提案手法

Reward/Step

0.5

0 .2 5

従来手法
00(0 分)2 50 00(125 分)
Step(学習時間)

5 00 00(250 分)

Fig.7 実機による実験の学習曲線
実機ではノイズが多くのり、シミュレーションほどの性能はでなかったが、提案手法は正規分布を用いた従来手法に比べ、学習を速くすることに成功した。

Fig.8 ロボットが回転している様子

Fig.4(下段)に示すように 4000step で最適と思われる確率密度分布が 8000step では移動をしている。
これは、ップ時間をも学習することで、学習速度を速くすることも可能ではないかと考えられる。

学習とともに最適と思われる解が移動していることを表す。そのため、２分木による手法では、解の移動がReferencesおきると、２分木の上位層を更新する必要が出てくる[1] 森 治、小峰 晋一郎、村木 誠一郎、小俣 透：劣駆動結合によるパラレルメカニズムへの形態変化：垂直面内での劣駆動シリアルリンク系の終端制御, 第 19 回日本ロボット学会学術講演会(CD-ROM)[2] Vunthichai Ampornaramveth：On Motion Generation ofAutonomous Decentralized Mechanical Systems Using GeneticMethods, ph. D. thesis, Tokyo Institute of Technology (1999)[3] R.S. Sutton and A.G. Barto：Reinforcement Learning , An
Introduction. A Bradford Book. The MIT Press (1998)[4] C.J.C.H Watkins and P.Dayan：Technical note : Q-Learning,Machine Learning, Vol. 8, pp. 279-292 (1992)[5] 木村 元, 小林 重信：Actor に適正度の履歴を用いた
Actor-Critic アルゴリズム, 不完全な Value Function のもとでの強化学習, 人工知能学会, Vol. 15, No.2,pp.267-275(2000)[6] 山下 透, 木村 元, 小林 重信：強化学習による多足歩行ロボットの実現, 計測自動制御学会, 第 13 回自律分散システ
ムシンポジウム資料 pp 111-116(2001)[7] Hajime Kimura and Shigenobu Kobayashi : An Analysis ofActor/Critic Algorithms using Eligibility Traces: Reinforcement
Learning with Imperfect Value Functions. In 15th International
Conference on Machine Learning , pp. 278-286, 1998.
[8] 柴田克成, 前原伸一, 杉坂政典, 伊藤宏司：Gauss-Sigmoid
ニューラルネットワーク, 第 12 回自律分散システムシンポジウム資料, pp.133-138(2001)[9] 木村 元，小林 重信：確率的 2 分木の行動選択を用いた
Actor-Critic アルゴリズム :多数の行動を扱う強化学習 ，
計測自動制御学会誌, Vol.37, no.12, pp.1147--1155 (2001).

ため、学習が不安定になってしまうと考えられる。
Fig.6 は、提案手法において、正規分布基底の数 N を変えてシミュレーション実験したものである。N = 1 のとき、正規分布を用いた従来手法と同じになる。
基底数がある程度多いと学習は速くなるが、多すぎると逆に学習は遅くなる。これは、この提案手法の学習時間が(基底の重みの学習時間)+(基底の平均・標準偏差の学習時間)となっているためであり、基底数が小さいと(基底の重みの学習時間)は短くできるが、(基底の平均・標準偏差の学習時間)が長くなってしまう。逆に規定数が大きいと、(基底の平均・標準偏差の学習時間)を短くできる代わりに、(基底の重みの学習時間)は長くなってしまう。適切な基底数を設定する必要がある。
Fig.7 は、製作した実機を用いて、正規分布を用いた従来手法と提案手法において、50000step(250 分)、１試行の実験を行った学習結果である。従来手法では学習に約４時間かかっていたが、提案手法では約２時間で学習ができている。
Fig.8 は学習した実機が転がっている様子である。

5まとめAppendix

・強化学習を使うことにより、パラメータの測定なしに５角形ロボットの前進動作が得られた。
・５角形ロボットの前進動作の学習問題は、最適と見積もる行動の確率密度分布が学習とともに動くとい提案手法の actor の eligibility は以下のように計算できる。
eπ (t ) µk , i , j = x j

(1 + µ k , i )(1 − µ k , i ) 1  mk g (a | k , x, θ) ⋅ (ai − µ k , i )2
mk ' g (a | k ' , x, θ)σ k2, i ∑k'
∫

うことが分かった。２分木を用いた actor-critic では、

mk g (a' | k , x, θ) ⋅ (ai '− µ k , i )da' ∑∫a'∈A mk ' g (a'| k ' , x, θ)da' 
k'− a '∈A

うまく学習ができないことが示した。
・複数の正規分布基底を組み合わせる政策表現を新たに提案した。実機実験では学習時間を約半分にでき、本問題の様な動的に変化する環境でも追従できた。

6

今後の課題
実機のロボットではもっと速い学習が望まれる。提案

手法の基底の選択に２分木などの選択法を組み合わせることで、より学習速度を上げることが期待できる。
また、学習の 1step を一律 300ms としてきたが、モデルをセミマルコフ化するなどして、この学習のステeπ (t ) σk ,i , j = − x j
(1 − σ k ,i )  m k g (a | k , x, θ) ⋅ (σ k2,i − ( ai − µ k ,i ) 2 )σ k2,i ∑k ' mk ' g (a | k ' , x, θ)∫− a '∈A
m k g (a' | k , x, θ) ⋅ (σ k2,i − ( ai '− µ k ,i ) 2 )da' ∑k ' ∫a'∈A mk ' g (a' | k ' , x, θ)da' g (a | k , x, θ)∫a'∈A g (a'| k , x, θ)da' et (t )mk , j = x j mk − ∑ mk ' g (a | k ' , x, θ) ∑ ∫a '∈A mk ' g (a' | k ' , x, θ)da'  k'k'

しかし、σ k , i → 0 のとき動作が不安定になる7)。そこで、本研
究では eπ (t ) µ k , i , j , eπ (t )σ k , j に σ k , i 2をかけたものを用いた。