多自由度環状ロボットによる不整地走行の学習
藤野智宏

佐久間淳

小林重信

東京工業大学 総合理工学研究科

はじめに
近年，ロボットには様々な分野や環境での行動が求められるようになってきている．これらのロボットが活躍する環境は凹凸や障害物が存在するような不整地環境であり，そのような環境下では，ロボットの形状を柔軟に変形させ地面の形状に合わせるなどといったように，状況に合わせて行動できることが望ましいと考えられる．
モジュール型ロボット
は形状を柔軟に変形するロボットの一つであり，注目されている．しかし，パーツ同士を切断・結合して形状変形する構造であるため，目的の形状となるまでに一定の時間を必要とし，地面を捉えるような滑らかな形状変形ができないといった問題がある．また制御においては，環境とのインタラクションを行わずに制御する方法であるため，各環境に適した形状へ変形し動作が行われているとはいえない．
構造は，短い時間で環境にフィットでき地形を捉えることができるような柔軟性をもつ必要がある．制御は，環境とのインタラクションを行うことで環境を判断し，状況に適した動作を行うような方法が望ましい．
多自由度環状ロボットは，各剛体リンクをジョイントで結合し環状とした多リンクロボットである．そのため，地形にフィットするような滑らかな形状変形をすることができる構造であり，不整地環境内の，様々な状況に合わせて行動できる．
しかし，このモデルの制御は従来の人によって作り込まれた古典的制御方法で制御することは困難である．
強化学習はエージェントと環境のインタラクションによって，環境に適応した政策 状態から行動への写像 を学習できる枠組みである．よって各環境に対して最適な形状変形および動作を獲得することが期待される．特に，強化学習手法の中で確率的傾斜法をはじめとする政策勾配法は連続状態行動空間を取り扱うことができる．このため，ロボット等の実問題に対する適応的な制御手法として注目されており，様々な実問題に対してその有用性が確認されつつある．そのため強化学習でのアプローチが有効である．しかしながら，未知の環境に対して初めて適用する際には各種センサや報酬設計を行う必要がある．
本研究では，多自由度環状ロボットを対象に，未知の不整地環境下において，ロボット自身が環境の変化を判断し，環境に適した形状変形・走行動作を行う適応的学習の構築を最終目的とする．その実現の為には，未知環境に対してユニバーサルな連絡先 藤野 智宏，東京工業大学 総合理工学研究科 知能シス
テム科学専攻，多自由度環状ロボット

報酬設計が必要となる．そのために多様な環境において実験を行ない提案する報酬設計が有効であるかどうかを検証する．
以下， 章では問題設定として対象とするロボットについて説明し，適用する各環境を示す． 章では目指す動作を得るための接近法と報酬設計について述べる． 章において各環境に対して移動動作獲得実験を行い，報酬設計の有効性を示す．
章においてまとめと考察を述べる．

問題設定
本章ではモデルについて述べ，次にそのモデルを適用する不整地環境を示す．その後，強化学習の定式化を行なう

多自由度環状ロボット
対象ロボットは， 個の各剛体リンクをフリージョイントで自由度ロボットである．このようなロボッ環状に結合したトモデルとした理由は，滑らかに形状を変形でき，地面や障害物にフィットした形状にもなれるようにするためである．
学習環境は動力学シミュレータ上に実現されている．に開発した多自由度環状ロボットを示す．各剛体リンクは隣同士でジョイントによって結合しているが，ゴム素材を想定して各リンク同士の衝突は柔らかい設定にしている．
剛体リンク一つのサイズはであり，ロボットの総質量は，初期形状は円周の 円 で あ る ．剛 体 リ ン ク 間 結 合 ジョイ ン ト の 可 動 範 囲 はである．

地形環境

学習エージェント

複数の環境を用意することにより，本研究の最終目的である「未知の不整地環境下において，ロボット自身が環境の変化を判断し，環境に適した形状変形・走行動作を行う適応的学習」を実現するために必要な情報を得る．以下に実験に用いる つの地形環境について述べる．

状態入力

行動出力
確率的政策
行動の強化信号平らな環境
最も簡単な環境として用意した環境であり，この環境で獲得された動作が基本となる．滑らかな走行が目標となる．

法などで評価値を更新

傾斜角度一定の坂環境，，との つの傾斜角度坂環境とする．前者の上り坂環境では，形状を縦に細長く伸ばした場合，後方へ回転しやすく前進が困難である．
後者の下り坂環境は，逆に前進がしやすい環境となっており，特に前進移動速度を速くするには形状を縦に細長く伸ばす必要が出てくるが，バタバタとした動きとなり滑らかに走行することが困難となる．このような困難を解決し走行することが目標となる．

報酬

環境 ロボット・シミュレータの一般的枠組み

入力は次式となる．

傾斜角度が変化する環境
下式のような高さ関数を用いて作った直線上の道環境とする．この環境は傾斜角度がとなる坂環境が混在するため，状況に合わせて走行動作を切り替えていく必要がある．よって現在の状況が下り坂なのか上り坂なのかを判断し，それぞれに適した走行動作を行うことが目標となる．

以上から，政策として表される．

は入力から出力へのマッピング

各時刻 において環境から返される報酬
で述べる．

については， 章

月重力環境に設定した環境である．この重力加速度を地球上の環境では，重力から得られる前進方向への回転モーメントが小さくなるため効率よく走行するにはより縦に細長くなる必要がある．しかしながら，縦に細長くなりすぎると動作がバタバタとしたものになってしまう．このような問題をうまく解決し走行することが目標となる．

強化学習の定式化
ロボットの制御は中心から剛体リンクへ伸びている伸縮自在な本の棒によって行われる．各棒はの範囲で伸縮し，以外の制御棒はの範囲でピッチ方向への自由度を持つ．制御棒の長さと角度は与えられた目標値に追従するように制御される．ここで使用する各制御棒の制御器は，設計者が適当にパラメータを与えた簡易なコントローラである．時刻 における制御出力は各制御棒の目標長さと目標角度のベクトルで与えられる．

接近法
本研究では学習アルゴリズムに，連続空間における強化学習およびに適正度の履歴を手法として実績がある用いたアルゴリズムを用いる ．適正度の履歴を用いる事で，の状態観測にノイズなどの不完全性や，状態変数の一部しか観測できないという部分観測性が加わるなどによって発生する隠れ状態問題に対してロバストとなる．
本研究においては，状態観測数を十分に増やすことが出来ないため隠れ状態問題となってしまう可能性が考えられるのでこのアルゴリズムを用いている．の一般的枠組みをに示す．
は状態入力
から行動出力への確率分布である確率的政策 に従って行動を選択する．
は離散化された状態について，の政策に基づいてそのを訪問した後どれだけ高い報酬が得られるかを表す評価値の保持・更新を行う．

滑らかな動作を実現するための報酬設計
また，ロボットは中心の回転角度を計測するセンサ
ロ，傾斜角度を計測するセボットの高さを計測するセンサ
ンサ
および各制御棒の長さと角度を測定する各センサを有する．よって，時刻 における対象ロボットの目的は滑らかに前進する動作を獲得することである．つまり前進移動を行いつつ倒れ込むような動きは避けるべきである．このように二つのタスクを同時に達成する必要があるような学習においては発達段階を考慮した報酬設計が有効であると考えられる ．
具体的には，倒れ込むような動きは縦に細長くなることによって生じると考えられるため，倒れ込みが生じる状態を高さが一定値以上になる場合であるとし，そのような状態をとする．そうではない滑らかな前進動作をするのに適した状態とする．以上のように二つの状態を考え時刻 でをの状態にて得られる報酬を次式のように設計する．
は ステップあたりの前進距離とする．
ただし，ここで，はサンプリングタイムを考慮して設計者が与える定数，は避けるべき高さになっていることに対する罰として与える負の定数である．
上記の報酬設計により，学習初期段階においては主に状態へ遷移してはいけないことを学ぶ．これにより全状態領域から探索すべき状態領域の切り出しが行われる．学習中期段階においては，切り出された状態領域内において前進動作発見が行われる．さらに学習が進むにつれその動作が洗練化されていき，最終的に二つのタスクを同時に達成することが期待される．このようにまず探索領域を選び，次にその領域内で行動を発見し出てきた行動を洗練化するという発達に応じた報酬設計となっている．
一方，自然な考えとして状態を区別せずに移動距離のみに応じた報酬設計も考えられ，この場合つねにとする．実験では，２つの報酬設計の比較を行う．

平らな環境における学習曲線

実験と考察
実験の目的と設定
実験の目的は， 章で述べた報酬設計が様々な環境において有効であるかどうかを検証することである．
章に述べた設定の下， 章に示した各環境に対して前進動作獲得実験を行なった．その際，報酬設計の有効性を検証するために移動距離に応じた報酬設計での実験と滑らかな動作を実現するための報酬設計での実験を各環境に対して行い比較を行なった．学習における意思決定時間はとし，のパラメータはに示す値を用いた．
学習アルゴリズムの実験設定
学習率
適性度の履歴の割引率
学習率
適性度の履歴の割引率
割引率

実験結果
各環境における学習曲線をに示す．また，下り坂環境における獲得動作を報酬設計別にに示す．ここでは， つあった傾斜角度一定の坂環境の結果を上り坂環境 傾
斜角度と下り坂環境の二つに分けて示す．
学習曲線から平らな環境と下り坂環境においては報酬設計に関係なく動作の獲得は達成されているが，上り坂環境では報酬設計のみで前進動作が獲得されたことが分かる．最大平均獲得報酬の値をみると平らな環境においては報酬設計のほうが多く得ており最終的に約という値を得ている．対して下り坂環境においては逆であり報酬設計において最大の報酬を得ておりその値は約と非常に大きい値となった．また，学習速度も同様の結果であった．

上り坂環境における学習曲線

考察
平らな環境での挙動
平らな環境では，報酬設計により高さ方向の伸長が抑制され，その結果高さを大きく変化させない安定した動作を獲得したと考えられる．すなわち，低い高さを保つことが形状を横に長くすることにつながり，結果として接地面積を大きくするような不安定な状態になりにくい形状を保つためであると考えられる．また，移動速度もに対して速い動作であっはた．このような事から，平らな環境において報酬設計滑らかで速い前進動作を得るのに有効であるといえる．
上り坂環境での挙動
上り坂の環境では，報酬設計によって前進動作を獲得することができなかった．この理由として上り坂環境では，縦に細長くなるような形状になってしまうと確実に後方へ回転してしまい前進できない状況となるためである考えられる．
よって，上り坂環境においては高さ制限を加えた報酬が無くてはならない設計であるといえる．
下り坂環境での挙動
下り坂環境では，報酬設計による獲得動作の違いがよく現れている．移動速度および獲得報酬の面からみると報酬設計のほうがよいといえる．しかしながら，その獲得動作は地面と点で接するような形状をとることによって転がり落ちていくような受動的な動作である．そのような動作では突発的に移動を停止したい場合などにおいて対処することができないと考えられるため適しているとは言えない．
一方，報酬設計
では低い姿勢を保ち高さの変位を小さくした安定した動作であり，移動速度も平らな環境と同程度である．よって，下り坂環境において安定した動作を獲得することに報酬設計は有効であるといえる．

下り坂環境での獲得動作の様子

月重力環境における学習曲線

下り坂環境における学習曲線

月重力環境での挙動
月重力環境での結果からは，報酬設計の違いによる獲得動作の違いはあまり見られなかった．この要因としては重力が低いために回転モーメントが発生しにくいということが考えられる．つまり，前方へ回転するためにはある程度の高さが必要となり結果として得られた動作に大きな違いがなくなってしまったのだと考える．よって月重力環境においては高さ制限を加えた報酬設計の影響が少ないといえる．

おわりに本研究では，二つの報酬設計を用いて各環境での動作獲得実験を行うことにより，提案した発達段階を考慮した報酬設計が つの環境において有効であることを確認した．
今後は，未知環境に対して適応していけるような制御システムを構築していく．そのために未知環境をロボット自身が判断できるようにする必要も生じてくると考え，そのような判断に用いることができる知見を様々な環境に対して行う実験から探していきたい．

参考文献

木村 元，山村 雅幸，小林 重信 部分観測マルコフ決定過程下での強化学習：確率的傾斜法による接近，人工知能学
会誌
木村元，小林重信に適正度の履歴を用いたアルゴリズム，人工知能学会誌，

角田英太郎，青木圭，佐久間淳，小林重信 強化学習によ
回自律分るカササギの歩容獲得，計測自動制御学会 第散システムシンポジウム，