強化学習による多自由度２足歩行ロボットの制御
村田 栄理

浅井 孝宣

佐久間 淳

小林 重信

東京工業大学 大学院総合理工学研究科

背景と目的
現在 制御が困難とされている多自由度ロボットが多く存在する ヒト型ロボットがその例の一つとして挙げられる このロボットは 機体が床に固定されていない為 極めて不安定であり より綿密な制御器の設計が必要とされている そして この制御問題をベンチマークとして多くの研究が現在なされている 代表的なアプローチとしてに基づくアプローチがある このアプローチではを安定規範としての位置を支持脚多角形から飛び出さないように各関節を制御することで転倒を回避した運動を実現する このアプローチを用いてロボットに理想の運動を行わさせる際は 各関節の制御量を決定するときに あらかじめロボットの機構を正確に把握した上で 逆運動学問題を解き理想の制御量を算出する必要がある しかし 逆運動学を用いた際 特異点を回避するため膝を曲げたままの歩行パターンになってしまうこと エネルギー消費量が大きいことなどが指摘されておりその歩容はヒトが行う自然な動作とは異なっている
一方 ヒトらしい歩行を目指したものとしてらは ヒトの関節運動を位相振動子としてエンコードし この振動子とロボットの身体ダイナミクスとの引きこみ現象を 足の接地情報のフィードバックによって実現することで ヒト歩行によく似た自然な歩行生成に成功している しかし この手法ではロボットを振子系として扱いやすい単純な リンクモデルとして定式化しており 足関節を持たず足裏が円弧で接地するという構造制約を持つため 構造においてヒトらしさを欠くという問題点がある さらに ヒトの下半身の自由度はもっと多く 少ない自由度で設計されたモデルはヒトに比べて運動性能でおとる
そこで 足首関節を備えたヒトらしいモデルにおいて ヒトのように自然な歩行を実現することを目的とした浅井らの研究に着目する 浅井らはヒトらしい歩行を生成するために ヒトに近い身体構造を持った 自由度ロボットモデルに対し 強化学習を用いてヒトの歩行軌道例に修正を加えることで矢状面における安定歩行を実現した 本研究では 下半身の自由度を自由度とすることで 矢状面制約を取り除いた 次元環
境下において よりヒトに近い運動性能の実現を試みる
以下 本稿は次のように構成される
章モデル設定では 浅
連絡先 村田 栄理，東京工業大学大学院 総合理工学研究科 知能システム科学専攻，

表股関節
股関節
膝関節
足首関節
足首関節
つま先関節
股関節

関節の可動方向と範囲
左右前後
前後
前後
左右前後
回転度～度～度～度～度～度～度～度
度
度度度
度
度

井モデルに基づく制御対象の身体機構と 出力に用いる関節軌
道 基本関節軌道 の設定について述べる
章強化学習を用いた制御では 強化学習を用いて基本関節軌道に修正を加える方法について説明する
章実験では シミュレーションモデ
ルを用いて実験を行い 強化学習を用いたフィードバック機構により高い運動性能が得られたことを示す
章おわりにでは研究成果をもとに 今後の課題について述べる

モデル設定
本研究では ヒトの基本特性に関するデータベースを参照して浅井らによって構築された 身長程のロボットモデルを扱う 図
また 運動を歩行に限っている為 上半身の自由度は考慮しないものとし モデルの全自由度は自由度とさらに モデルは高精度な 次元動力学シミュレー
した 表
タを用いて構築する 各関節には角度制御のサーボモータを備えている このロボットに搭載されているサーボモータは毎に目標値を与え制御を行うと想定しているロボットの両足裏には 踵とボール 親指の付け根よりやや土踏まずより部分 の両方が接地したときに反応する接触センサが備えてあり 両足それぞれの接地状態を知ることができる
また体幹には 鉛直軸からの傾斜角度を前後・左右それぞれに対し測定する角度センサと 鉛直軸まわりの角速度を測定するジャイロセンサが備えられ 上半身の情報を知ることができる
以上 個のセンサが搭載されている

図
図

主要関節の基本関節軌道

モデル
表のパラメータ設定

学習率
適正度の履歴の割引率
報酬の割引率センサ

図

膝関節の軌道データ（ 周期）

強化学習を用いた制御
未知環境において 試行錯誤を通じ求める運動性能の評価値を最大化する学習アルゴリズムのフレームワークに強化学習がある 強化学習は 獲得した政策への評価を明示的に与えることで政策を学習するのではなく 状態毎の報酬を与え環境とのインタラクションを通じてより多くの報酬を獲得するような政策の学習を目指す ここで 政策とは学習アルゴリズム本
体 エージェント が持つ状態観測と行動の入出力関係であり一般にロボットに適用する場合 入力がセンサ情報 出力が制御量の決定に影響を及ぼす情報となっている その為 評価関数の設定が困難な運動の終端状態を定義できない場合において有効である また 強化学習は 制御対象の身体自体も環境の一部と考える為 ロボットの身体性も考慮に入れた最適な制御規則の獲得を期待できる 強化学習の制御器への適用にあたって 本研究ではセンサの値を基にタイムステップ毎に基本関節軌道に与える修正量の出力を学習する 図
また身体機構をヒトに近づけたことで ヒトの関節軌道デー
タとロボットがヒトのように歩く際の軌道は近いと思われる
そこで ロボットの基本関節軌道にはヒトの関節軌道データを用いる 詳細としては 歩行時に駆動する主要な関節として矢状面で駆動する股関節・膝関節・足首関節 左右合わせて自由度に対し ヒトの関節データを用いる 図
それ以外の自由度に対しては適当に設定した一定値を基本軌道として用いる

強化学習の定式化
前節の議論に基づき、強化学習の定式化を行う エージェン
トは状態入力として 左右の足裏の接地センサに始まる各周期時刻インデックスを観測する

周期時刻インデックス は 歩行開始時にとし 意思決の範囲の整定ステップ時間が進むにつれ数を周期的にとる。ここではヒト基本軌道の周期とする また 接地センサはの離散値 傾斜角度等その他のセン
サはの連続値である
行動出力は 各時刻でのヒト関節軌道に対する角度修正量ベクトルである

ただし 角度修正量はの範囲の連続値とする
は行動空間の大きさを決定するパラメータである
エージェントの目的は転倒せずに継続歩行を行うことである そこで報酬として ロボットが転倒したときには負の転倒罰を与える なお 体幹の傾斜角度がある閾値
を超えた場合はそれ以上転倒回避できないと判断し その時点で転倒と判断する。転倒罰が得られた場合はエピソードをリセットし 学習を再スタートする
報酬には 転倒罰に加えて 体幹の傾斜角度に関する罰も与える これにより 体幹の振れができるだけ少ない歩行の獲得を目指す よって 報酬は以下のように表される

強化学習アルゴリズムとしては 適正度の履歴に基づくを用いる 図 にの一般的な枠組みを示す この手法は 連続な状態行動空間を扱える 非マルコフ性に対処できるなどの特徴をもつので 本研究が対象とする学習問題に適していると考えられる
また将来的に実装することを想定した場合 サーボモータに目標角度を与える度に 学習により修正量を決定したのでは 計
算コストが必要以上にかかりすぎる恐れがある上 サーボモー

学習エージェント
状態入力

行動出力
確率的政策
行動法などで評価値の強化信号を更新
報酬

環境 ロボット・シミュレータ
図の一般的枠組歩行に移っていることが観察された また ヒト歩行におけるラジアン）であることから体幹の前後の振幅 度
学習結果による安定歩行時の体幹の前後の振幅ラジアンは全てを剛体のパーツで構成したロボットにしては妥当であると考えられる よって 収束した学習結果は極めて妥当だと言える
得られたロボットの行動は 当初求めていた 次元空間における転倒を回避した歩行を実現した しかしながら得られた歩行は 同じ箇所を何度も周回する歩行であり 直進歩行時のヒト関節軌道を用いているにもかかわらず直進歩行が実現されて
いなう 図
図は 右上から歩行を開始させ 左下に到達した際にシミュレーションを止めたときの歩行の軌跡を上空から見たものである また学習を継続させた場合 パラメータの探索を継続する為 安定歩行中に転倒することもあった その
場合 一度転倒すると安定歩行をなかなか実現することができなかった

タに指令値を送るタイミングまでに計算が間に合わない可能性もある そこで 制御量をロボットに送る意思決定のタイミン
グはとし この値を次の意思決定として つ前の意思決定のとの差を等分して サーボモータに毎のタイミングで指令値を送ることにした

実験
目的と設定
次元環境下における歩行中の転倒回避の行動を実現することを目的とする 実験は シミュレーション上で行い提案手法の有効性を検証する 動力学シミュレータ上に構築したモデルに対し 制御指令を送ってロボットを制御する その結果得られるセンサ情報と報酬を学習エージェント側が観測し 学習エージェントは内部パラメータを更新する また 学習エージェン
トの実装については 文献の手法を参考にした また 先行研究である浅井モデルの実験設定に対し 本実験は関節の数を関節から関節に増やし その増やした関節の基本関節データは未知なので初期値のまま一定として実験した 実験設定は角度修正量の範囲
度 転倒罰
転
ラジアン
倒を判断する前後の傾斜角度の閾値度 とした

実験結果
実験を行った結果 次元空間における歩行また 図 のような学習曲線が得られ運動を獲得した 図
た この図の縦軸は毎の平均獲得報酬である 実験では 報酬を負の値 罰 のみで与えたため を超えることはない
が 図より学習曲線が に近づいて収束していることがわかる
結果 より罰を回避するように関節軌道に修正量を加えるように学習していることが確認された ちなみに 基本関節軌道にヒトのデータを用いなかった足首関節の左右駆動部の軌道 図を調べてみると 周期的に修正量を加えられており その他の関節においても同様であった この結果からも 周期状態に応じて適切な修正量が加えられていることがいえる
また 学習により得られた政策を用いた歩行において転倒回数を測定したところ
中回の転倒があった こあたりの罰の期待値がとなるため 政れは策が得る罰はほとんど体幹の傾斜によるものであるとみなせ
る 次に次元空間にロボットを配置してからの歩行時における 体幹の前後の傾斜角を測定した 図
その結果 歩行開始時に体幹は大きくぶれるが その振れ幅を小さくするように

図

学習曲線

考察
実験では 直進歩行時のヒト関節軌道をベースに 体幹の前後の傾きを運動評価の対象にすることで 安定した歩行を実現する修正量を学習により与えることができた しかし 実際には周回しながらの歩行が得られ 基本軌道を利用する際に想定していた行動とは大きく異なった これは 一度右にバランスを崩すと右方向に足を着き続けることが体幹の安定につながる為だと考えられる そのため歩行の運動評価に 体幹の安定化の他に直進性の評価を含む必要があると考えられる さらに
ヒトは視覚情報を用いており目標方向へ移動することが歩行の最大の目的である為 ヒトらしい運動を行わせるためには 目標方向への到達度をより明示的に与えるべきである

図

学習後の足首関節角 左右駆動部 の軌道

図

学習により得られた歩行 横から観測

図

学習により得られた歩行 正面から観測た 安定状態 不安定状態等における制御器の使い分けの必要性も挙げられる 本研究結果のように環境が変わる毎に制御対象が学習をしているのでは非効率であり 今までの経験から得られた政策の効果的な利用が必要である
今後の課題としては 本研究ではヒト関節データを基本関節軌道として用い データのない関節においてはゼロベースで学習を行ったが 従来手法に比べてその妥当性については未だ検討の余地がある そこで 逆運動学を用いて制約を加えるなど今後は設計者が明示的に与えることができる情報は極力与えそれ以外の設定にのみ学習器を使う方針である

図

図

体幹の前後の傾斜角

参考文献

学習後の歩行の軌跡 上空から観測

学習継続時に安定歩行中に転倒する原因は さらなる最良の内部パラメータを学習器が探索するため ランダムな行動をとることがあるためである その際 転倒後 再び歩行をさせようとしたときになかなか安定歩行に移れない原因として 安定歩行中の過学習が考えられる 安定歩行中は不安定状態に遷移しない為 不安定状態における転倒罰回避よりも より体幹を安定化させることを追求した内部パラメータの更新が行われるため 不安定状態時に学習したパラメータが失われ 転倒後なかなか安定歩行をすることができなくなったと考えられる

おわりに実験では 体幹の前後の傾きを運動評価の対象にしたが 実際には目的の進行方向に対する直進性やエネルギー効率など本来のヒトらしい歩行を目指すためには更なる詳細な設定を考慮しなければならない その際に 考慮すべき問題として 学習の多目的最適化問題や 獲得政策のロバスト性などがある ま浅井 孝宣 佐久間 淳 小林 重信 ヒト関節軌道データを回自律分散システム考慮した歩行ロボットの学習 第シンポジウム
河内 まき子 持丸 正明 岩澤 洋 三谷 誠二 日本人人体
通商産業省工業技術院くらし
寸法データベースとセンター
独立行政法人 製品評価技術基盤機構 人間特性データベース
江原 義弘 山本 澄子 ボディダイナミクス入門 歩き始めと歩行の分析 医歯薬出版株式会社
木村 元 小林 重信に適正度の履歴を用いた
アルゴリズム 人工知能学会誌
木村 元 山下 透 小林 重信 強化学習による 足ロボッ
トの歩行動作獲得 電気学会 電子情報システム部門誌