多関節多足ロボットの強化学習
小菅智丈

佐久間淳

小林重信

東京工業大学

はじめに
強化学習は 報酬という単純な指示から それよりもはるかに複雑な制御規則を自動的に獲得するための手法として有望である ．また強化学習手法の中で確率的傾斜法をはじめとする政策勾配法は確率的政策のパラメータを価値関数の勾配を用いて更新していく方法であり，少なくとも局所的最適政策への収束性が保証されている．このため，ロボット等の実問題に対する適応的な制御手法として注目され，その有用性が確認されつつある．
強化学習の実ロボットへの適用は状態行動空間が連続値であり，さらに自由度が増すにつれて状態数の指数的な増加が起こるため困難とされてきた 連続な状態行動空間の扱い方として，価値関数を近似する方法が多く研究さ
しかし，これらの方法は状態行動空間が高次れてきた
元の場合，膨大なメモリを必要とし，実行が困難であった しかし近年，政策勾配法に基づく接近法である手法を用いて， 自由度の 足歩行ロボット ，蛇型ロボットなどの制御規則の獲得に成功している．
本稿が扱う多関節多足ロボットでは自由度の増加が必ずしも学習を困難にしているわけではないことを実験によって示す．
実験には，基本的な機構が同じで自由度の異なる複数の多足多関節ロボットを用いる このことによって構造ではなく自由度数の歩行動作獲得学習への影響を調べることができると考える さらに，ロボットの歩行動作獲得学習のおいて，モーターの出力が学習の困難さに影響を及ぼしていることを示す また，強化学習アルゴリズムを固定した場合，タスクを達成するためにはどのような自由度設計が好ましいかは定かではない．
本研究ではタスクの達成度と自由度の設計についてその指針を示すの タイプを用いる 図 参照 ．各関節は角度制御のサーボモータを持ち，各時間ステップの各目標角度を出力することで行動を制御する．また学習目標は自分の前進方向になるべくまっすぐに前進する制御規則を獲得することである．ロボットを制御するコントローラーが学習主体のエージェントとなり，ロボット本体を含めた外界が環境となる．ロボットは各関節の現在角度を状態入力とし，その状態に対して出力する関節角度の目標値への確率分布を政策関数とする．環境との相互作用を通じてそのパラメーターを改善する．

図
構築した タイプのロボット
を腰有り型と呼ぶ

を腰無し型ロボットの実装にあたっては，高精度動力学シミュレーターであるを利用した 図 参照 ．

ロボットモデル
本研究ではロボットモデルとして足関節に上下左右方向のモーターた多足ロボット）
上記のモデルの胴体部分に 自由度た多足多関節ロボット
連絡先 小菅智丈，東京工業大学

足自由度 を持っ図の腰を持っ

動力学シミュレーター

上のモデル

学習エージェント
状態入力

行動出力
確率的政策
行動の強化信号

時刻ｔにおいて学習エージェントが環境よりに正規化された状態 を観測し 確率を用を選びこれを実行する．
いて行動行動の結果得られた報酬 と状態式でを計算する．ここでは割引報酬の期待値割引率，法などで評価値を用いてはを更新
報酬法での適性度の推定値を更新する．ここで ははの学習率である．

環境 ロボット・シミュレータ
図アルゴリズムの一般的枠組み

アルゴリズム本研究では強化学習アルゴリズムとしてアルゴリズムを採用した．
アルゴリズムは状態から行動への確率分布である確率的政策を学習することができる．すなわち，いろいろな行動に対して，それを選択するような最適確率を学習することができる．このことはだけではなく，非マルコフ問題の一種であるに対して有効であることが知られている．また，アルゴリズムは，行動価値を直接学習するわけではないので，連続行動空間の学習のように行動数が無限にある場合でも対応することができる．これらの理由からロボットの学習問題に対してアルゴリズムが用いられる多数の研究例が報告されている．
以下にの概念図を図 示す．確率的政策に従っが行動する．そのが選択した行動により環境がて変化し，その状態がそれぞれによって観測される．
その際，は環境から報酬を獲得する．観測された状態と獲得した報酬から式に従って誤差を出力する．

また，内部の価値関数を更新する．
は観測された状態と，から出力された誤差をもとに政策を更新する．図に本研究で用いたの学習手順を示す．

実験の目的と設定
目的と設定
本章の目的は つある． つ目は自由度数と学習の困難さの関係を検証することと つ目はモーターの出力の強度と学アルゴ習の困難さの関連を検証することである．
リズムがどの程度の自由度まで適用できるかを調べる．
については 足腰無し 自由度型 足腰無し型
自由度及び足腰無し型
自由度ロボットを対象に実験を行う．
については 足腰有り型
自由度 足腰有り型
自由度
足腰有り型
自由度ロボットを対象に歩行動作獲得実験を行う．実験に用いるロボットの仕様を表 にまとめて示す．
実験設定は，割引率 を，学習率を，学習率
を，の適正度の履歴の割引率，の適正度の履歴の割引率はともにとした．またロボットの腹部が床につく場合，ロボットは高さを保って前進歩行を獲得しなければならない．この場合，「高さを保つ」「前進歩行」するという様な多目的の学習問題になり問題として複雑さが増す．本研究では単目的を扱うため，「高さを保つ」タを用いての適性度を更新する．ここでははの学習率である．

次式で適正度をそれぞれ減らす．ここでとの適正度の割引率である．

としてステップはに戻る．

図の学習手順スクについては関節の可動範囲を制限することで達成することとした．よって報酬はロボットのの前進方向の距離のみで与えることとした．

結果
図は各モデルの歩行動作の学習曲線である．横軸は学習ステップ数，縦軸は単位時間当たりの平均移動距離を示している．また，曲線は各モデルにつき 試行づつ行いその学習曲線の平均値を表している．それぞれ横軸は学習ステップ数 縦軸は単位時間当たりの平均移動距離を示している．縦軸が高ければ単位時間当たりの移動距離が高いことを示す．本実験は構造上「歩行動作」を行わなければ前進動作を獲得できない．つまり図のグラフはそれぞれのモデルに適した歩行動作を獲得したことになる．従来強化学習は多自由度ロボットに適用が難しいとされてきた．しかしながら本実験では一般的に多自由度とされる自由度での学習に成功している様子がわかる．
またの四足型ロボットとの四足型のロボットの獲得された歩行動作の様子を図 に示す．

考察
上記のロボットモデルでは学習に失敗することはほとんどなく，ほぼ全部の試行において歩行動作を獲得した．学習曲線の形に特徴があるものの，学習に要したステップ数と自由度の数には相関がないように思われる．これらのデータは同じモーター強度を設定している．しかし、自由度設計において必ずし表
本実験で用いたロボット

自由度数
腰足数

無図

図

無の四足型ロボット 上 と無有有有の四足型のロボット 下 の獲得された歩行動作の様子

モデル学習曲線も同じモーター強度が適しているとは限らない．モデルに対して適切なモーター強度を設定しなければ目標角度を出力しても達成できない等不都合が生じ 学習困難になる可能性もある．
図 にの自由度型ロボットにおけるモーター強度を 段階変化させた時の学習曲線を示す．横軸は学習ステップ数であり 縦軸は単位時間当たりの平均移動距離を示している．

図

モデル学習曲線

図 から学習速度はモーター強度に関係していることがわかる．これは関節の目標角度を達成できるかどうかに関連すると考えられる．出力した関節の目標角度を達成しない場合 推定価値関数は間違った値を用いて更新されてしまう．価値関数の推定を正しく行われるためには各関節に対し出力した目標角度が確実に実行される必要がある．現在用いている状態観

測は１関節 状態であるため 目標角度と同じ状態に遷移していれば価値関数は正しく更新されると考えられる．図 の場
合 モーター強度が弱くなるにつれ目標角度の実行率が低くなるためため学習が遅くなると考えられる．

図

モーター強度と歩行能力の関係

おわりに図

モーター強度と学習曲線

モーター強度とタスク達成度の関係
モデルとモーター強度の相関について実験考察をする．ロボットを制御する際には，より少ないエネルギーでより高いタスク達成度が得られることが望ましいと思われる．今回，そのような要求を満たす有効自由度の有用性を実験によって検証を行った．このような自由度設計は実機を用いることを考えた場合重要な問題となる．本実験では，の特徴である「腰」がタスクである前進歩行動作にどの程度寄与しているかを調べる．一般にモデルの自由度には独立したモーターが装備される．本実験では各自由度のモーターには同じモーターを使用し，それぞれのモーターを制御するのに必要なエネルギーは同程度であると仮定する．この場合，歩行動作に用いるエネルギーはモーター，つまり自由度の数に比例することになる．
この観点から以下のような比較実験を行った．

本論文ではアルゴリズムを用い，学習可能な自由度数とロボットモデルの自由度設計のための指針を示した．計測可能な自由度までアルゴリズムが有効に働くことがわかった．また，学習の困難さと自由度数が必ずしも相関があるとは言えず，モデルに装備しているモーターの出力とモーターの相性に依存していることを実験によって示した．また，モデルによる歩行能力のモーターの出力に対する依存度を調べた結果，腰有り型ロボットが腰無しロボットよりも高いことを示した このことが哺乳類を始めとする歩行生物に腰がついている一つの要因の可能性もある

参考文献
木村 元，宮崎 和光，小林 重信 強化学習システムの設計
指針，計測と制御，実験設定
先での実験でのモデルのうち，の自由度型ロボット，の自由度型ロボットについてそれぞれモーターパワーを 段階変化させ，歩行を学習した後の前進歩行能力について検証した．
アルゴリズムに用いる設定に関しては前実験と同じ設定を用いた．

結果・考察
図 に結果を示す 横軸がモーター強度，縦軸が単位時間当たりの平均移動距離であり歩行能力を示す．図 の直線は各プロットの線形近似である．最高の歩行能力を得られたのはの自由度型のモーター強度がの時であるが，少ないモーター強度に対して高い歩行能力が得られたのはの方である．また、よりもの方がモーターの強度に関して依存度が強い結果を示した．
は互いの自由度が独立した構造となっている．つまり互いに大きく影響を及ぼさない．
は足の位置は腰の自由度と足のそれぞれの自由度の角度の組み合わせに大きく依存する．このことが，少ない自由度で高い歩行能力を実現していると考えられる．

木村 元，山下 透，小林 重信 強化学習による４足ロボッ
トの歩行動作獲得，電気学会 電子情報システム部門誌

角田 英太郎，青木 圭，佐久間 淳，小林 重信 強化学習によるカササギの歩容獲得，計測自動制御学会 第回自律分散システムシンポジウム