計測自動制御学会東北支部第336回研究集会(2021.12.1)
資料番号336-5

深層強化学習を用いた足場配置計画による６脚ロボットの歩行動作獲得
Walking Motion Acquisition of Hexapod Robot by FootholdPlacement Planning Using Deep Reinforcement Learning○中川原拓海*, 釜谷博行*, 原元司**, 工藤憲昌*
Takumi Nakagawara*, Hiroyuki Kamaya*, Motoshi Hara**, Norimasa Kudoh**

八戸工業高等専門学校, **松江工業高等専門学校*

National Institute of Technology, Hachinohe College,**
National Institute of Technology, Matsue College

キーワード: 深層強化学習(Deep Reinforcement Learning), 6脚ロボット(Hexapod Robot),
足場配置計画(Foothold Placement Planning), 不整地(Rough Terrain)

連絡先: 〒039-1192 青森県八戸市田面木字上野平16-1 八戸工業高等専門学校 産業システム工学専攻
Tel.: 0178-27-7283，E-mail: kamaya-e@hachinohe-ct.ac.jp

1. はじめに脚の追従制御に分けて多脚ロボットの制御

近年，多脚ロボットは惑星探査や救助活動を行う新たな手法を提案する．モデルフリーの分野において活躍が期待されている．多脚のRLアルゴリズムであるSoft Actor Critic

ロボットは脚の自由度が高いため，不整地に（SAC）3)を用いて，ロボットの状態と地形の対して体の水平を保つことができる，障害物情報をもとに望ましい足の位置を計算するを乗り越えることができるなど，車輪型ロボ方策を学習する．本発表では，不整地環境でットでは移動できないような地形でも行動の前進動作の獲得を目的とする．

することができる．しかし，自由度が高いた

2. 開発環境

め，制御が複雑になるという問題がある．
この問題を解決するアプローチとして，強本 研 究 で は ， Trossen Robotics 社 の化学習(Reinforcement Learning；RL)を用い

PhantomX 4)を用いた(Fig.1)．このロボットてセンサ情報からモータ制御信号を直接計は，3 つの関節を制御する 6 本の脚で構成さ算する方法がある．しかし，得られる方策は，れている．各脚の 3 個のモータのうち，第一ロバスト性が低く 1)，複雑な報酬関数の設計

関節は脚を前後に動かし，他の 2 つの関節はや大量の学習サンプルが必要となる 2)．また，脚をそれぞれ持ち上げるように動作する。
実験環境として，ロボットを制御するため学習した方策はわずかな地形の変化でも失に Robotic Operating System（ROS）を使用敗することがある．
そこで本研究では，地形の変化に対応するする．また，ROS のサポートが充実しているために，足場の配置計画のための強化学習とことから，シミュレーション環境 Gazebo を使用する．使用するセンサとアクチュエータ
1

のデータの時間を揃えるために，25Hz の固得する．

定間隔でデータの取得を行う．また，パーリ

本研究では，連続的な制御タスクを扱ってンノイズを用いて，Fig.2 に示すような標高いるため，状態空間は連続的であり，モータマップを作成し，地形の自動生成を行う．

制御に対応する行動空間も連続的である．そこで，モデルフリー学習で特に連続値制御のタスクにおいて広く用いられている SAC を使用した．SAC では報酬の最大化に加え，方策のエントロピーを考慮した(1)式のような目的関数を最大化する方策𝜋を求める．
𝐽(𝜋) = ∑𝑇𝑡=0 𝔼𝜋 [𝑟𝑡 + 𝛼ℋ(𝜋)](1)

エントロピーℋ(𝜋)を考慮することで行動の多様性を保ちながら，かつ，得られる報酬
Fig.1 ロボットモデルを最大化することができる．𝛼は重み係数である．また，オフポリシーで学習することからサンプル効率に優れており，学習率等のハイパーパラメータの変動に対して頑健に動作する．

4. 手法
提案システムの全体図を Fig.3 に示す．

Fig.2 生成した標高マップ

3. 強化学習
強化学習は，ある環境下においてエージェント(学習主体)が試行錯誤を通じて得られる報酬をもとに，より良い行動を学習によって獲得する手法である．エージェントと環境は以下のやり取りを行う．
(1) エージェントは時刻𝑡において環境の状態𝑠(𝑡)に応じて，行動𝑎(𝑡)を出力する．
(2) エージェントの行動を実行し，環境は𝑠(𝑡 + 1)へ状態遷移し，その遷移に応じた報酬𝑟(𝑡)をエージェントに与える．

Fig.3 提案システム概要(3) 時刻を𝑡から𝑡 + 1へと進め，(1)~(3)のサイシステムの動作は大きく分けて，以下のよクルを繰り返す．

うになる．

エージェントは累計報酬の最大化を目的(1) 畳み込みオートエンコーダによるロボッとし，状態から行動を出力する方策𝜋(𝑠)を獲ト周辺地形の特徴量抽出2

(2) 特徴量とロボットの状態から足の接地位れた足位置，𝑓𝑖 は実際の足位置を表す．また，

置を出力𝑆𝑀は安定余裕であり，ロボットの重心位置(3) 脚先位置に追従するための脚と胴体の軌(Center of Mass；COM）の地面への投影点

道生成から支持脚によって形成される多角形まで(4) 逆運動学により角度制御命令に変換の最短距離である．この指標が大きいほどロボットは安定して歩行しているといえる．こ4.1 地形情報の取得の報酬関数によって安定した歩行のための地形を考慮した歩行を行うために，ロボッ足位置を出力する方策を学習することがで

ト周辺の標高マップ（Height Map）の特徴量きると期待できる．

を足場配置計画の状態に導入する．特徴量の学習には，3 つの隠れ層(256 個の隠れユニ抽出には教師なし学習の１つである畳み込ットを持つ)を持つニューラルネットワーク

みオートエンコーダ 5)を用いる．ここでは，を使用した。

ロボットを中心とする 64×64 次元の標高マ4.3 脚と胴体の軌道計算

ップを用いる．これにより，標高マップから胴体の最終位置は，目標足位置で形成され特徴を抽出し，64 次元のベクトルとして表現る三角形において安定余裕が最大になる位する．

置とした．ロボット胴体の動きは完全に支持脚に依存するため，胴体の動きをロボットの4.2 足の接地位置の計算
ここでは，次に動かす足の接地位置を求各支持脚の関節空間に変換する必要がある．

める．次に動かす脚は，同側の前脚・後脚

この目的のために，胴体から N 個の経路点をと反対側の中脚がほぼ同じタイミングで地収集し，運動学的な計算によって，各支持脚面に接地するトライポッド（tripod）歩容をの関節の経路点を得る．次に，これらの経路ベースにして決定する．

点を三次スプライン曲線で補間し，滑らかな
𝑗𝑗𝑗

行動空間は，動かす 3 つの足の𝑥座標と𝑦関節軌道を得る．𝜃1 , 𝜃2 ⋅⋅⋅ 𝜃𝑁 を各支持脚関座標を用いた．よって計 6 次元の行動空間と節の対応する経路点とする．ここで，𝑗 = 1,2,3なる．𝑧座標は，出力された足の x 座標と𝑦座はある支持脚の 3 つの関節，𝑁は経路点の数標の位置に対する標高マップから直接計算である．支持脚の任意の関節𝑗に対して，経路する．

点と連続性の条件を満たすように，三次スプ状態空間は各足の位置 3×6 次元，ロボッライン曲線𝑆を構築する．
𝑗(𝑖 = 1,2,⋅⋅⋅ 𝑁)
𝑆(𝑡𝑖 ) = 𝜃𝑖lim 𝑆(𝑡) = 𝑆(𝑡𝑖 ) (𝑖 = 1,2,⋅⋅⋅ 𝑁 − 1)

トの姿勢（ロール角，ピッチ角，ヨー角）の３次元，標高マップの特徴量 64 次元を用い

𝑡→𝑡𝑖

lim 𝑆 ′ (𝑡) = 𝑆 ′ (𝑡𝑖 ) (𝑖 = 1,2,⋅⋅⋅ 𝑁 − 1)た．よって計 85 次元の状態空間となる．

lim 𝑆 ′′ (𝑡) = 𝑆 ′′ (𝑡𝑖 ) (𝑖 = 1,2,⋅⋅⋅ 𝑁 − 1){𝑡→𝑡𝑖
また，この方程式を解くために，さらに境界報酬関数𝑟は安定した前進動作を獲得するために(2)式のように設定し，学習を行った．
各時間 step において報酬関数によって報酬条件を設定する．
𝑆 ′ (𝑡 ) = 0(4){ ′ 1
𝑆 (𝑡𝑁 ) = 0
これにより支持脚の軌道を得ることができが得られる．
62𝑟 = 𝑣 + 𝑆𝑀 − ∑‖𝑓̂𝑖 − 𝑓𝑖 ‖(3)

𝑡→𝑡𝑖

(2)

𝑖

る．

ここで，𝑣は胴体の速度，𝑓̂𝑖 は方策から出力さ3

5.2 獲得した歩行動作の評価

また，遊脚の経路は，障害物を避けて目的の足位置まで脚を運ぶために高速に探索が学習時には使用しなかった新たな不整地可能である RRT(Rapidly exploring random

で評価実験を行った．評価方法は，学習したtree) 6)を用いて作成する．支持脚と同様に，方策を用いて，再度凹凸のある地形での報酬

これらの経路点を三次スプライン曲線で補を計測した．最大高さが 0.00m，0.05m，間し，滑らかな脚軌道を得る．求めた脚軌道

0.10m，0.15 m の地形で，それぞれ 100 回のを逆運動学によって，各関節の角度制御命令シミュレーション実験を行った．
実験結果を Table 1 と Fig.5 に示す．グラに変換する．

フの横軸は地形の最大高さ、縦軸は報酬の平

5. 実験
5.1 前進動作の獲得

均値および標準偏差を表す。結果として，学習時とほとんど変わらない報酬を得ること提案手法を用いて前進動作の獲得実験をに成功した．しかし，0.0m の平坦な地形で異なるランダムシードを用いて 15 回行った．

は，平均報酬が 412.5 と一番小さく，標準偏1000 step を 1 episode とし，合計 5000差が 54.2 と一番小さかった．一番単純な地

episode の学習を行った．最初は平坦な地形

形で報酬が一番小さくなった原因は，学習後で学習させ，1000 episode 以降は自動的に作半で平坦な地形を使わなかったことにある成した標高マップによる不整地環境で学習と考える．そこで，学習時に高さを徐々に大を行った．不整地環境は徐々に標高を高くし， きくするのではなく，ランダムで高さを変更
最終的に 0.10 m の標高マップで学習を行っして学習することで平坦な地形でも高い報た．

酬が得られる歩行が獲得できるものと考え結果として，前進動作を獲得することがでる．

きた．報酬の平均値，最小値および最大値をまた，0.05 m の地形では平均報酬が 572.7

Fig.4 に示す．横軸は episode 数を示す。グと一番高くなり，標準偏差も 213.1 と一番大ラフの実線は 15 回の平均値，塗りつぶされきくなった．以降，最大高さを上げると報酬た部分は最小値と最大値の範囲を表していが徐々に下がり，標準偏差も下がる結果となる．報酬は約 2500 episode で収束し，学習にった．このような結果になった要因は，移動は約 13 時間かかった．

速度と安定余裕のトレードオフな関係にあると考える．平均移動速度に関しては，0.05m の地形では 0.253 m/s，0.10 m の地形では0.231 m/s，0.15 m の地形では 0.202 m/s となった．安定余裕に関しては，0.05 m の地形
ではばらつきが多く，0.10 m，0.15 m の地形では安定余裕がほぼ一定だった．このことか
ら 0.05 m の地形では，安定余裕が小さくても転倒する可能性が低いため，速度重視の歩行が得られたことが分かる．一方，最大高さ

Fig.4 学習曲線が大きくなると転倒する恐れがあるため，安定余裕を重視することになり，移動速度が小4さくなることが分かる．このことから，地形参考文献の特徴を正確に把握して歩行を行っている

1) Peng, X. B., Coumans, E., Zhang, T., Lee,といえる．

TW., Tan, J. and Levine, S., "Learning
agile

robotic

locomotion

skillsbyTable 1 地形最大高さに対する性能分布の比較

imitating

最大高さ[m]

平均値

標準偏差

arXiv:2004.00784, 2020.

0.00

412.5

54.2

2) Hwangbo, J., Lee, J., Dosovitskiy, A.,

0.05

572.7

213.1

Bellicoso, D., Tsounis, V., Koltun, V. and

0.10

502.3159.8

Hutter, M., "Learning agile and dynamic

0.15

468.2

121.9

motor skills for legged robots", Scienceanimals",arXivpreprint

Robotics, 4(26), 2019.
3) Haarnoja, T., Zhou, A., Hartikainen,K., Tucker, G., Ha, S., Tan, J., Kumar,
V., Zhu, H., Gupta, A., Abbeel, P. andLevine, S., "Soft actor-critic algorithms
and applications", arXiv preprint arXi
v:1812.05905, 2018.
4) Trossen Robotics, “PhantomX AX Hexa
pod Mark Ⅱ Kit”, https://www.trossenr
obotics.com/hex-mk2 (2021 年 11 月 21 日

Fig.5 地形最大高さに対する性能分布の比較

閲覧)

6. おわりに

5) Lovedeep

Gondara,"Medicalimage

本研究では，深層強化学習を用いた足場配

denoising using convolutional denoising

置計画を提案し，前進動作の獲得実験を行っautoencoders", IEEE 16th international

た．結果として，不整地でも安定した歩行を

conference on data mining workshops

獲得することに成功した．また，学習に利用(ICDMW), pp.241–246, 2016.

していない未知環境でも，学習で使用した地

6) S. M. Lavalle, ”Rapidly-exploring random

形と同等の歩行性能を示した．

trees: A new tool for path planning”,

今後の課題として，全方向への歩行動作のComputer Science Dept. 98(11), 1998.

獲得やパーリンノイズ以外の様々な環境で学習により歩行動作を獲得することなどが挙げられる．

7. 謝辞
研究の一部は JSPS 科研費 JP19K03043の助成を受けたものである．

5