計測自動制御学会東北支部 第 339 回研究集会 (2022.10.28)
資料番号 339-7

深層強化学習により獲得される二脚歩容遷移にみられるヒステリシス現象
Hysteresis in the Bipedal Gait Transition
Acquired by Deep Reinforcement Learning〇古関駿介 ∗ 、沓澤京 ∗ 、大脇大 ∗ 、林部充宏 ∗〇 Shunsuke Koseki∗ , Kyo Kutsuzawa∗ , Dai Owaki∗ , Mitsuhiro Hayashibe∗*東北大学 工学研究科 ロボティクス専攻*Department of Robotics, Graduate School of Engineering, Tohoku University
キーワード :

歩容遷移 (gait transition), 二脚歩行/走行 (bipedal walking and running),

ヒステリシス (hysteresis), 深層強化学習 (deep reinforcement learning)

連絡先: 〒 980-8579 仙台市青葉区荒巻字青葉 6-6-01 東北大学 工学研究科 林部・沓澤/大脇研究室
古関駿介、Tel.: (022)795-5682 E-mail: shunsuke.koseki.q4@dc.tohoku.ac.jp

1.

緒言

歩行する際の上限速度は約 1.3 m/s であるが、走私たちヒトは力学的に異なる運動モードである歩行と走行を状況適応的に切り替え移動を行っている。歩容を単一のモードに固定せず、複数使い分けることで、幅広い速度かつ高いエネル
ギー効率での移動が可能となる。例えば、歩行では一般的におよそ 3.0 m/s より早く移動する
ことができないが、走行に歩容を変えることにで歩行の上限速度を超えた移動が可能となる 1) 。
また、低速度領域では歩行、高速度領域では走行が、エネルギー効率的に最適な運動となることが知られており 1, 2) 、速度に応じて適切な歩容を選択することで、高いエネルギー効率の運動を維持することができる。
上述した歩容を使い分けることにより得られる利点は、ヒトだけでなく二脚ロボットでも確認されている。例えば、ヒト型ロボット ASIMO が行に歩容を遷移させることによって最大約 2.5 m/sまでの速度で移動ができるようになる 3) 。また、コンパスモデルやヒューマノイドモデルにおいて、歩行と走行がそれぞれ低速度領域、高速度領域でエネルギー効率的に最適な運動となること
がシミュレーション環境上で示されている 2, 4) 。
したがって、ヒトのような歩行と走行を使い分けを二脚ロボットに再現することは、幅広い速度
かつ高いエネルギー効率で移動ができるロボットの実現につながる。
二脚ロボットの歩容遷移を取り扱った先行研
究はいくつかある。Hodgins らは、支持脚後期
中に地面を押す力を変えることで、コンパスモ
デルのような足の長さを自在に変えられるモデルにおいて、歩行、走行間の遷移を実現している
5) 。Nagasaka らは、ZMP を安定指標とした軌道生成を行い二脚ロボット QRIO において、歩行、–1–

走行、ジャンプ間の遷移を行った 6) 。Kobayashi
𝐹𝑎hip

らは、ヒトの歩行モデルが倒立振り子、走行モ

𝑧

thigh
𝑔

歩行と走行では脚のコンプライアンスが異なることに注目し、脚の柔らかさを変えることで歩行と走行間の遷移を行った 7) 。また、詳しい制御方法は公開されていないが、HONDA の ASIMO
や Boston Dynamics の Atlas がヒトのようなな

𝑦𝑥

デルがばね付き倒立振り子で表現されるように、
wobbling
mass

𝑧

foot

𝑦

passive
hinge joint

𝑧

ℎ

𝑥, 𝑧

𝑙

𝜑

activelinear joint

𝜃passiveabsorber𝑟𝑑𝑥(a) 左：シミュレーション環境上のモデル
中：横から見たときの機構図 右：前から見たときの機構図めらかな歩容遷移を再現している。

𝒎𝒉𝒊𝒑
𝒎𝒕𝒉𝒊𝒈𝒉wobbling mass

しかしながら、これらの二脚ロボットの歩容遷移を取り扱った先行研究では、歩行と走行間

𝒌𝟑
𝒎𝒕𝒊𝒃𝒊𝒂𝒌𝟐𝒄𝟐𝒎𝒇𝒐𝒐𝒕の遷移の実現のみに重きが置かれており、歩容遷移時のダイナミクスは詳しく調べられていな

linear joint
𝒌𝟏
𝒄𝟏

𝑭𝒊
hinge
joint
−𝒌𝒉𝒊𝒑 𝝋 − 𝒄𝒉𝒊𝒑 𝝋ሶ𝝋い。歩容遷移時のダイナミクスを詳しく調べる(b) 左：Wobbling 機構 右：直動アクチュ
エータとばね付き受動股関節

ことで、歩行と走行を使い分ける二脚ロボットの開発時にコントローラ設計の効率的化が期待できる。また、歩容遷移は非定常な現象であり、Fig. 1 使用した二脚モデル

さらに遷移するタイミングや期間などを意識的に変えることが困難なため、ヒトの計測データ

2.

からの解析が困難である。実際に、歩容遷移はなぜ起こるのか、何がトリガーとなっているのか、突発的に起こるのかそれとも徐々に起こるのか、など未解明な点は多い 1, 8, 9) 。そのため、二脚ロボットを通して歩容遷移を調べることで、ヒトの移動運動メカニズム解明への貢献も期待できる。

二脚モデルの歩容遷移

本節では、シミュレーション環境上の二脚モ
デルにおいて歩容遷移を実現した我々の先行研究について簡単に紹介する。要約すると、受動
歩行モデルを基に作成した股関節が受動的な二脚モデルに、深層強化学習を用いて歩容の生成を行った。その結果、単一のコントローラによって、速度を規定するパラメータを変化させるこ

そこで、本稿では遷移時の条件変えることで、二脚ロボットにおける歩容遷移時のダイナミクとで歩行と走行、およびその遷移を再現することに成功した。

スを調べることを目的とする。この目的のため、
我々の先行研究で実現したシミュレーション環
境上で歩容遷移を行える二脚モデルを用いて、2.1使用した二脚モデル

歩容遷移を開始するタイミングと、歩容を遷移使用した二脚モデルを Fig. 1 に、身体パラさせるための速度パラメータの変化率を変え、歩容遷移時の運動を計測し比較した。その結果、メータを Table 1 に示す。基本的な構造は、我々の先行研究の受動歩行モデル 10) を参考した。運少ない歩数で歩容を変える場合、遷移を行うタ

動は Fig. 1(a) の xz 面（矢状面）に拘束されてイミングが転倒率に大きな影響を与えること、いる。本モデルの特徴は、股の回転関節が完全歩容遷移にかける歩数によらず遷移時の運動にに受動的であり、身体の受動ダイナミクスを活はヒステリシスが見られることを確認した。

用して移動運動を行う点である。脚を前後に振るためにアクチュエータではなく、重力による–2–Table 2 報酬関数のパラメータ
Reward function
ωE ωlωs
C1 C2 C3
0.2 0.2 0.15 1.0 1.0 0.5

Table 1 二脚モデルの身体パラメータ
Unit Value
l
[m]
0.8
r
[m]
0.27
mhip
[kg]
20
mthigh [kg]6
mf oot[kg]
1r(st , at ) = − ωE |Et − Et−1 | + ωv ẋ

(2)+ ff orward + falive + fsupport ,位置エネルギーとばねによる弾性エネルギーを使用する。各脚には最大出力が F = 800 N の
リニアアクチュエータが取り付けられており、

ff orward =脚方向（Fig. 1 (b) 右の赤点線方向）に沿って


0

(ẋ >
= 0)

−C1

(ẋ < 0),(3)

大腿部を上下させる。股関節（Fig. 1(b) の青

falive = C2 ,点線方向）は、巻きバネ（khip = 25 Nm/rad）(4)とダンパー（chip = 2 Nms/rad）を持つ受動的

ここで、ω は重み係数、Et は t ステップ時のな回転関節である。下腿部には 3 つの線形ばモデルの総エネルギー (運動、位置、弾性エネル

ね（k1 = 6000 N/m, k2 = 6000 N/m, k3 =ギーの和)、ẋ は hip セグメントの水平方向速度10000 N/m）、2 つのダンパー（c1 = 300 Ns/m,である。第一項により、エネルギー変化が大き

c2 = 650 Ns/m）、質量（mtibia = 3 kg）からな
る wobbling 機構を持つ（Fig. 1(b)）11) 。このい運動であるほど負の報酬が与えられる。第二機構により、着地時の足裏と地面との衝撃を低が与えられる。第三項 ff orward はモデルを常に減する効果が得られる。足底は、20 個の小さな前進させるための項である。モデルが後退、つ球から構成される曲率半径 r の円弧形状である。

まり ẋ < 0 のとき負の報酬が与えられる。第四項により、モデルの速度が大きいほど正の報酬

項 falive はモデルの転倒を防ぐための項である。

2.2

学習中、モデルが 80 度以上傾くとモデルは転倒

深層強化学習しているとみなし、上限ステップに達していな
歩容生成には、深層強化学習を使用した。簡単

くても、エピソードを終了した。モデルが倒れにまとめると、深層強化学習とは試行錯誤を繰なければこの項により正の報酬が常に与えられり返し、現在の状態に対する最適な行動のとりるため、累積報酬は大きくなる。第五項 fsupport

方を獲得する手法である。以下の目的関数 J(π)

は学習を効率的に行うための補助的な項である。

を最大化する方策を求める。

本稿ではスペースの都合上詳細は割愛する。

J(π) =

T∑

E[γ t (r(st , at )],

(1)

2.4

t=0

ここで，γ は割引率、r は後述する報酬関数、stと at はそれぞれ状態と行動を表す。

学習方法

学習の特徴は、報酬関数 r 中の速度項の重みである ωv ∈ [0.0, 3.0] の値が 1000step ごとにランダムで変化する点である。式 (2) において、ωv

2.3

報酬関数

が大きいほど、速度に対して大きな報酬値がも式 (2) を報酬関数 r として用いた。ハイパーパラメータの値は Table 2 の通りである。

らえるため、高速度の移動運動を学習する傾向が高まる。ωv の値に対する適切な出力を学習す–3–

速度パラメータ調整(𝝎𝒗 Adjuster)

1

2

3

4

5

6

7

8

9

10

二脚モデル

速度

Model States
𝒔𝒕 = 𝒙,ሶ 𝜽, 𝜽,ሶ 𝒉𝒓 , 𝒉𝒓ሶ , 𝒉𝒍 , 𝒉𝒍ሶ , 𝝋𝒓 , 𝝋ሶ𝒓 , 𝝋𝒍 , 𝝋ሶ 𝒍 , 𝒅𝒓 , 𝒅𝒓ሶ , 𝒅𝒍 , 𝒅ሶ𝒍Controller

𝝎𝒗(a) 歩行 (ωv = 0)、0.16 s ごとに撮影

Environment

1

2

3

4

5

6

7

8

9

10

Action𝒂𝒕 = 𝒂𝒓 , 𝒂𝒍𝝎𝒗 Adjuster

Fig. 2 上：シミュレーション環境上の二脚モデ
ルの制御の様子、下：コントローラの概略図(b) 走行 (ωv = 3.0)、0.08 s ごとに撮影ることで、歩行と走行の学習を行った。Fig. 2

Fig. 3 生成した歩容のスナップショットにシミュレーション環境上の二脚モデルの制御
イミングと増減の変化率を複数設定し、運動にの様子とコントローラの概略図を示す。

どのような違いが出るかを比較した。

2.5

実現した歩容遷移得られたコントローラは、入力される速度を

3.1

速度パラメータ変化率の設定規定するコマンド ωv に従って、出力（歩行と先行研究と同様に、歩行から走行への遷移は走行）を変えた。ここで、歩行は両脚支持期、入力する ωv を 0.0 から 3.0 へと線形的に増加さ

走行は両脚遊脚期を周期的に持つ歩容と定義しせることで、走行から歩行への遷移は 3.0 からた。Fig. 3 に生成した歩行と走行のスナップ

0.0 と線形的に減少させることで再現する。ωv

ショットを示す。また、入力する ωv を 0.0 からを、後述する各タイミングに対して、∆Tωv =3.0 へと線形的に増加させることで歩行から走0.1, 0.3, 0.6, 1.0, 2.0 秒の 5 通りで変化させ、速度

行、3.0 から 0.0 へと線形的に減少させることでパラメータ変化率に対する運動の違いを調べた。

走行から歩行の遷移が見られた。以下のリンクから生成した歩容遷移の動画を見ることが可能である (https://drive.google.com/file/d/

3.2
3.2.1

歩容遷移開始タイミングの設定
歩行から走行

1SVP7iEqVkdVb5YDB_OPE5ZZ-2RgNArN4/view?
歩行から走行へと遷移を開始するために ωv を

usp=sharing)。

変え始めるタイミングを、DS（両脚支持期）、

3.

SS1（片脚支持期前期）、SS2（片脚支持期中期）、

実験方法

SS3（片脚支持期後期）の４つ設定した。ここ

本節では、2 節で紹介した歩容遷移ができるで、両脚支持期は両脚が地面に接地している期

二脚モデルを用いた歩容遷移の実験方法ついて間（Fig. 3 (a) の 1, 5, 9 に該当）、片脚支持期説明する。速度パラメータ ωv を変え始めるタ

前期は支持脚が遊脚の前方にある期間（Fig. 3–4–

脚の後方にある期間（Fig. 3 (a) の 4, 8 に該当）
を指す。

1.000

1.000

0.800

1.000

0.967

1.000

0.967

0.200

0.833

0.900

0.867

0.833

0.466

0.367

0.967

0.800

0.800

0.400

DS

走行から歩行

SS1
SS2
SS3
Transition Start Timing(a) 歩行から走行

走行では、遷移を開始するタイミングを、SS1（片脚支持期前期）、SS2（片脚支持期中期）、SS3（片脚支持期後期）、DA1（両脚遊脚期前期）、

DA2（両脚遊脚期中期）の５つ設けた。生成した走行の片脚支持期の平均時間は 0.24 秒、両脚
遊脚期の平均時間は 0.13 秒であった。これを踏ΔTωv [s]0.1 0.3 0.6 1.0 2.0

3.2.2

1.000

まえて、片支持期前期は片脚が地面に接地した

1.000

1.000

1.000

1.000

1.000

0.800

0.967

0.800

0.600

0.733

0.867

0.667

0.367

0.800

0.900

0.933

0.733

0.000

0.000

0.767

0.000

0.867

0.000

0.000

0.000

SS1

SS2 SS3 DA1 DA2Transition Start Timing

1.0
0.8

Success Rateの 3, 7 に該当）、片脚支持期後期は支持脚が遊

1.000

0.6
0.4
0.2
0.0

1.0
0.8

Success Rate

よそ支持脚と遊脚が重なりあう期間（Fig. 3 (a)ΔTωv [s]0.1 0.3 0.6 1.0 2.0(a) の 2, 6, 10 に該当）、片脚支持期中期はおお

0.6
0.4
0.2
0.0

(b) 走行から歩行直後の期間（Fig. 3 (b) の 1, 6, 10 に該当）、片Fig. 4 歩容遷移成功率 (n=30)

脚支持期中期は脚が地面に接地してからおよそ

0.1 秒後の期間（Fig. 3 (b) の 2, 7 に該当）、片脚支持期後期は脚が地面に接地してからおよそ

きは SS2 と SS3、∆Tωv = 0.6 のときは SS1、

0.2 秒後の期間（Fig. 3 (b) の 3 に該当）、両脚のタイミングで ωv を変え始めると半数以上が遊脚期前期は両方の脚が地面から離れた直後の転倒した。一方で、∆Tωv >= 1.0 では、遷移成

期間（Fig. 3 (b) の 4, 8 に該当）、両脚遊脚期
中期は両脚遊脚期開始からおよそ 0.065 秒後の功率がどのタイミングでも 80%を超えた。特に∆Tωv = 2.0 では、どのタイミングで ωv を変え始めても、ほぼ 100%の確率で転ばずに歩行から期間（Fig. 3 (b) の 5, 9 に該当）とした。

走行へ遷移した。以上より、歩行から走行への

4.

実験結果

4.1

転倒した割合遷移では ∆Tωv が小さい、つまり速度パラメー
タ ωv の変化率が大きいと、ωv を変え始めるタ
イミングが、遷移成功率に与える影響が大きく

Fig. 4 に ωv を変え始めたタイミングと、変化にかけた時間 ∆Tωv による、転倒せずに遷移できた割合を示す。各条件でモデルの初期状態
を変え 30 回試行を行った。歩行から走行への遷移時は ωv を変化させ始めた地点から 15m、走行から歩行への遷移時は 5m 移動したとき、歩容遷移に成功したとみなした。

Fig. 4(a) より、歩行から走行の遷移では、∆Tωv が小さいとき転びやすい ωv を変え始めるタイミングがあることがわかる。具体的には、∆Tωv = 0.1 のときは SS3、∆Tωv = 0.3 のとなることがわかる。

Fig. 4(b) より、走行から歩行の遷移でも、∆Tωv が小さいとき、ωv を変え始めるタイミン
グによって遷移成功率が大きく異なることがわかる。例えば、∆ωv = 0.1 のときは SS2 で ωvを変え始めると 80%を超える高い遷移成功率を示したが、他のタイミングでは一度も遷移に成功しなかった。また、SS2 で ωv を変え始めると遷移成功率が高いわけではなく、∆ωv = 0.3 では SS1、∆ωv = 0.6 では DA1 が最も成功率の高いタイミングであった。歩行と同様に速度パラメータを変え始めるタイミングが遷移成功率を–5–

決めるわけではないことがわかる。∆ωv >= 1.0

た脚を一度地面から離し、脚の地面への入射角

では、どのタイミングで ωv を変化させ始めてを調整し再接地していた。∆Tωv = 1.0 のときも成功率が 50%を超えた。特に、∆ωv = 2.0 では、およそ 2-3 歩で遷移した。以上から、歩行は観測下で、どのタイミングでも遷移に必ず成から走行への遷移では ∆Tωv が小さいと、遷移

功した。このことから、走行から歩行の遷移でまでに必要な歩数が少ない傾向があることがわも、∆Tωv が小さいと、ωv を変え始めるタイミ

かる。
次に、走行から歩行の遷移での結果をまとめングが遷移成功率に与える影響が大きいことがる。Fig. 6 より、∆Tωv = 0.3 のとき、ωv を変わかる。

え始めてから、およそ 3-5 歩で歩行へと遷移し4.2

た。∆Tωv = 1.0 のときは、およそ 6-8 歩で遷移∆Tωv と遷移までに必要とする歩数

本節では、∆Tωv の値と遷移までに必要とする
歩数の関係を明らかにする。Fig. 5 と Fig. 6 にした。走行から歩行への遷移でも ∆Tωv が小さ
いと、遷移に必要とする歩数が少ない傾向があることがわかる。

歩行から走行、走行から歩行への遷移に成功したときの脚の接地状態をそれぞれ示す。Fig. 5の上図は ∆Tωv = 0.3、下図は ∆Tωv = 1.0、Fig.

4.3

遷移時のリミットサイクル

6 の上図は ∆Tωv = 0.1、下図は ∆Tωv = 1.0、でFig. 7(a) に ∆Tωv = 0.1、(b) に ∆Tωv = 1.0

遷移させた。横軸は時間であり、水色の領域はで歩行から走行へ遷移させたときの軌道を示す。

左脚、赤色の領域は右脚、紫色の領域は両方の

横軸は二脚モデルの地面に対する傾き θ、縦軸

脚が地面に接地している期間であることを示す。

は右脚の角度 φr（Fig. 1(a) に記載）である。青各図中の２本の黒色の線は、左の線が ωv を変えの閉じた軌道は定常的な歩行（ωv = 0）、赤褐色

始めた時間、右の線は変え終えた時間である。

の閉じた軌道は走行（ωv = 3.0）のリミットサ

本稿では、ωv を変え始めたときに接地していイクルである。赤褐色の線は DS、オレンジの線

る脚を一歩目とし（ただし、変え始めたタイミン

は SS1、緑の線は SS2、紫の線は SS3 で ωv を変グが両脚支持期のときは後に接地した脚の方をえ始めた後の 2 秒間の軌跡である。上述したよ

一歩目、両脚遊脚期のときは直後に接地した脚

うに、∆Tωv = 0.1 のときに DS で ωv を変え始を一歩目とする）、歩行から走行への遷移は片脚

めると、他とは異なる運動パターンが見られた。

支持期後に両脚遊脚期が、走行から歩行への遷

Fig. 7(a) から、確かに赤褐色の線のみ明らかに

移は片脚支持期後に両脚支持期が発現したとき異なる軌道をとっている。一方で、その他の軌完了したとみなす。例えば、Fig. 5 の上から二番

道では、∆Tωv の値と ωv を変えるタイミングに

目、左から二番目の図では（SS1 ∆Tωv = 1.0）、

よらず、定常歩行の軌道から離れるタイミング

およそ 4.5 秒の黒線で示すタイミングで ωv を変が共通していた。おおよそ φr ∼ −0.2 で定常歩

え始めてから、二歩後に両脚遊脚期が発現して行の軌道から外れていることがわかる。また、いるため、二歩で遷移したとみなす。

∆Tωv の値が異なると、走行のリミットサイク

初めに、歩行から走行の遷移での結果をまとルへ近づき方が違うことがわかる。∆ωv = 0.1

める。Fig. 5 より、∆Tωv = 0.1 のとき、ωv をの方が走行のリミットサイクルへ直線的に移動変え始めてから、およそ 1-2 歩で走行へと遷移している。

した。なお、∆Tωv = 0.1 のとき、DS で ωv をFig. 8 には、走行から歩行へ遷移するときの変え始めると、他のタイミングとは異なる運動軌道を示す。(a) と (b) の ∆Tωv の値はそれぞれパターンで遷移をした。二脚モデルは接地させ0.1, 1.0 である。オレンジの線は SS1、緑の線は

–6–

5[s]

6[s]

7[s]

7[s]

DS ΔTωv = 1.0 [s]

LEFT

4[s]

5[s]

6[s]

SS2 ΔTωv = 0.1 [s]

RIGHT

LEFT

4[s]

RIGHT

LEFT
6[s]

RIGHT

RIGHT

LEFT

5[s]

SS1 ΔTωv = 0.1 [s]

4[s]

5[s]

6[s]

SS1 ΔTωv = 1.0 [s]

4[s]

5[s]

6[s]

7[s]

5[s]

6[s]

7[s]

SS3 ΔTωv = 0.1 [s]

LEFT

7[s]

RIGHT

6[s]

LEFT

5[s]

DS ΔTωv = 0.1 [s]

RIGHT

LEFT
RIGHT

LEFT
RIGHT
4[s]

5[s]

6[s]

7[s]

SS2 ΔTωv = 1.0 [s]SS3 ΔTωv = 1.0 [s]4[s] 5[s] 6[s] 7[s] 8[s]SS1 ΔTωv = 1.0 [s]5[s] 6[s] 7[s] 8[s]SS2 ΔTωv = 1.0 [s]

LEFT
RIGHT

LEFT

LEFT

LEFT
5[s] 6[s] 7[s] 8[s]SS3 ΔTωv = 1.0 [s]5[s] 6[s] 7[s] 8[s]DA2 ΔTωv = 0.3 [s]DA1 ΔTωv = 0.3 [s]

RIGHT

LEFT

SS3 ΔTωv = 0.3 [s]

RIGHT

LEFT
RIGHT

RIGHT

LEFT

SS2 ΔTωv = 0.3 [s]No
Gait Transition

RIGHT

5[s] 6[s] 7[s] 8[s] 4[s] 5[s] 6[s] 7[s]SS1 ΔTωv = 0.3 [s]No
Gait Transition

RIGHT

LEFT
RIGHT

LEFT
RIGHT

RIGHT

LEFT

Fig. 5 歩行から走行への遷移時の脚の接地状態

5[s] 6[s] 7[s] 8[s]DA1 ΔTωv = 1.0 [s]5[s] 6[s] 7[s] 8[s]DA2 ΔTωv = 1.0 [s]Fig. 6 走行から歩行への遷移時の脚の接地状態
SS2、紫の線は SS3、赤褐色の線は DA1、灰色

4.4の線は DA2 で ωv を変え始めた後の 2 秒間の軌跡である。Fig. 4 で示したように、∆Tωv = 0.1のとき倒れないで遷移を行えたのは SS2 で ωvを変え始めたときのみであった。Fig. 8(a) から、歩行のリミットサイクルへ移動しているのは確かに緑色の線のみであることがわかる。Fig.

8(b) から、歩行と異なり定常走行の軌道から離れるタイミングには共通性がないように見られる。走行のリミットサイクルから離れた後しば
らくは、ωv を変え始めた時系列の順番に従い軌道が平行移動の関係にあることが確認できる。
また、歩行から走行、走行から歩行への遷移
では共通の軌道をとっていないことがわかる。

Fig. 7 と Fig. 8 を比較すると、遷移前の歩容によって遷移時にとる軌道が大きく異なることがわかる。

歩行へ遷移するときの床反力と入射角

走行から歩行へ遷移させるとき、∆Tωv が小さいと、成功率は ωv を変え始めるタイミング
により大きく異なった。特に、∆Tωv = 0.1 では、遷移に成功した試行は SS2 で ωv を変え始めたときのみであった。そこで、なぜこのタイ
ミングでの遷移成功率が高かったかを調べるた
め、このときの二脚モデルの運動を定常的な走行と比較した。Fig. 9 に、定常的な走行（上）と ∆Tωv = 0.1 として SS2 で ωv を変え始めた
とき（下）の二脚モデルが受ける進行方向の床
反力 Nx 、地面垂直方向の床反力 Nz 、入射角 αを示す。ここで、入射角 α とは、Fig. 10 で示すように脚が接地したときの、地面垂直方向に対する侵入角度である。図中の黒ハッチ領域左端で ωv が 3.0 から下がり始め、右端で 0.0 となる。定常的な走行と床反力を比較すると、遷移時では ωv を変えた直後の入射角が大きく増加していることがわかる。また、入射角の増加

–7–

0.8

Walk
Run

0.8

SS2
SS3

0.4

0.4

[rad]

0.2

[rad]

0.2

0.0

φr

0.0

−0.2

−0.2

−0.4

−0.4

−0.6−0.2

0.8

0.0

0.2

θ

0.4

[rad]

0.6

−0.6−0.2

0.8(a) ∆Tωv = 0.1
Walk
Run

0.8

SS2
SS3

0.4

0.4

[rad]

0.2

[rad]

0.2

0.0

φr

0.0

−0.2

−0.2

−0.4

−0.4

−0.6−0.2

0.0

0.2

θ

0.4

[rad]

0.6

0.0

−0.6−0.2

0.8

SS2
SS3

0.2

θ

0.4

[rad]

DA1
DA2

0.6

0.8

(a) ∆Tωv = 0.1
Walk
Run
SS1

0.6

φr

0.6

DS
SS1

Walk
Run
SS1

0.6

φr

0.6

DS
SS1

0.0

SS2
SS3

0.2

θ

0.4

[rad]

DA1
DA2

0.6

0.8

(b) ∆Tωv = 1.0(b) ∆Tωv = 1.0

Fig. 7 歩行から走行へ遷移時の軌道

Fig. 8 走行から歩行へ遷移時の軌道とともに、進行方向反対向きに力積を受けていが ωv を変え始めるタイミングが遷移成功率にた。定常的な走行では 1 回の片脚支持脚中に受∫ける進行方向の床反力の時間積分 Nx (t)dt が与える影響は小さいことを確認した。また、遷−0.0255 ± 5.24 Ns(n=250) であったのに対し、異なることを確認した。

移前の歩容によって遷移時にとる軌道が大きく

Fig. 9 下図の ωv を変えたとき後の片脚支持期

初めに、歩行から走行への遷移に関して考察（2 つ目の山）では −30.36 Ns、その次（3 つ目を行う。Fig. 4(a) より、遷移するタイミングをの山）では −35.60 Ns、の進行方向逆向きの力

適切に設定すれば、少ない歩数でも遷移成功率

積を受けた。

が高かった。そこで、少ない歩数で成功率の高い遷移を行えるタイミングを考える。Fig. 7 よ

4.5

り、歩行から走行へ遷移するときは、支持脚の考察

今回の実験から、∆Tωv が小さいととき、つまり速度パラメータ ωv の変化率が大きいときは少ない歩数で遷移できるが ωv を変え始める
タイミングによって遷移成功率が大きく変わる
こと、∆Tωv が大きいとき、つまり ωv をゆるやかに変えるときは遷移するまでの歩数は増える

開き角度 φ がおよそ −0.2、おおよそ支持脚後期に定常歩行の軌道から離れていた。また、Fig.

4(a) から、∆T ωv = 0.1, 0.3 では φr ∼ −0.2 となる支持期後期以前に ωv を変え始めるほど遷移成功率が高かった。これらから、短期間の歩行から走行への遷移では、定常歩行の軌道から離れる支持脚後期までの準備期間が長いほど、

–8–

0

は大きな負の値をとった。よって、地面を押し

0.0

−1000
x GRF

5.0

z GRF

5.5

touch angle

6.0

調整することで脚を前に振り出し、直後の接地∫時に進行方向に対して負の床反力 Nx (t)dt を−0.4

受け速度を落とすことができるため、地面を押

0.4

2000

し出す前の支持脚中期が歩行へ遷移しやすいタ

0.2

1000
0

0.0

−1000
−2000

x GRF

5.0

z GRF

5.5

time[s]touch angle

6.0

Nx (t)dt

出す前に歩行へ遷移しようとすると、蹴る力を

−0.2

−2000

GRF[N]

0.2

α[rad]

1000

時に、モデルが受ける進行方向の力積

イミングであると結論づける。

α[rad]

GRF[N]

2000

∫

0.4

歩行から走行、走行から歩行への遷移では、−0.2

遷移時の軌道が明らかに異なっていた。また、−0.4

遷移に要する歩数も ∆T ωv = 1.0 において、歩行から走行では 2-3 歩であったのに対し、走行

Fig. 9 定常的な走行と ∆T ωv = 0.1 での走行か
ら歩行遷移時の床反力と入射角 αから歩行では 6-8 歩と異なっていた。これらは、再現した歩容遷移にヒステリシスが存在するた
め、すなわち遷移過程のダイナミクスが前の歩𝜶=𝟎

行パターンに依存するため、生じたと説明でき𝜶る。ヒステリシスは、制御パラメータを増加（または減少）させることで、異なるアトラクター
へ遷移させるとき、元のアトラクターに留まる
引力の差により生じ 1) 、ヒトの歩容遷移でもヒステリシス現象は確認されている 1, 12) 。本研

Fig. 10 入射角 α

究の結果は、深層強化学習を用いて生成した歩遷移成功率が高まると推測できる。よって、支容遷移にもヒトと同じようにヒステリシス現象

持脚初期から走行へ遷移するための運動生成をが発現することを示している。Fig. 7, 8 より、行い、支持脚後期で定常歩行の軌道から離れる

定常的な歩行と走行の身体の傾き θ を比較することで、少ない歩数で安定した歩容遷移を行えと、歩行と比べて走行の方が前のめりに傾いてると考える。

いることがわかる。前のめりであると直立時と次に、走行から歩行への遷移において、少ない

比較して転びやすいため、急激に姿勢を変える

歩数で転ばずに遷移するためのタイミングを考ことが困難である。そのため、ヒステリシス現える。Fig. 4(b) より、∆Tωv <= 0.6 において、支象が発現したと考えた。

持脚中期と後期では遷移成功率が大きく異なっており、支持脚後期以前に ωv を変え始めると成功率が高いことがわかる。これから、支持脚中

5.

結言

期と後期の間に歩行に遷移しやすい期間がある

本稿は、深層強化学習を用いて生成した二脚のではないかと推測した。Fig. 9 上図より、定歩容遷移において、速度パラメータを変えるタ

常的な走行ではおおよそ片脚支持期中期から進イミングと増減時の変化率を変え、運動にどの

行方向の床反力 Nx が正となる。また、Fig. 9 下

ような違いが出るかを観測した。その結果、少図より、ωv を変えた直後の接地では入射角が大ない歩数で遷移するときは遷移を開始するタイ幅に増加した。さらに、入射角が増加すると同ミングが転倒率に大きな影響を与えること、遷–9–移するまでの歩数が多いと遷移を遷移を開始す

8) Alan Hreljac, Rodney T Imamura, Rafael F
Escamilla, and W Brent Edwards. When doesa gait transition occur during human locomotion? Journal of sports science & medicine,Vol. 6, No. 1, p. 36, 2007.

るタイミングによらず遷移成功率が高いことを示した。また、深層強化学習により生成した歩容遷にはヒトと同じようにヒステリシス現象が9) Shota Hagio, Mizuho Fukuda, and Motoki
Kouzaki. Identiﬁcation of muscle synergies associated with gait transition in humans. Frontiers in human neuroscience, Vol. 9, p. 48,
2015.

見られることを確認した。本研究の結果は、歩容遷移により幅広い速度領域でエネルギー効率の高い移動を可能とする二脚ロボットを開発するための枠組みとなること、さらにヒトの歩容
遷移メカニズムの解明に知見を与えられることが期待できる。今後は、よりヒトに近い筋骨格
モデルを用いた歩容遷移を再現する予定である。

参考文献
1) Frederick J Diedrich and William H Warren Jr. Why change gaits? dynamics of the
walk-run transition. Journal of Experimental Psychology: Human Perception and Performance, Vol. 21, No. 1, p. 183, 1995.
2) Manoj Srinivasan and Andy Ruina. Computer
optimization of a minimal biped model discovers walking and running. Nature, Vol. 439, No.
7072, pp. 72–75, 2006.

10) Dai Owaki, Koichi Osuka, and Akio Ishiguro.
On the embodiment that enables passive dynamic bipedal running. In 2008 IEEE International Conference on Robotics and Automation, pp. 341–346, 2008.
11) Ali Asadi Nikooyan and Amir Abbas Zadpoor. Mass-spring-damper modelling of thehuman body to study running and hopping–an overview. Proceedings of the institution of
mechanical engineers, Part H: Journal of engineering in medicine, Vol. 225, No. 12, pp.
1121–1135, 2011.
12) Veerle Segers, Peter Aerts, M Lenoir, andDirk De Clercq. Spatiotemporal characteristics of the walk-to-run and run-to-walk transition when gradually changing speed. Gait &posture, Vol. 24, No. 2, pp. 247–254, 2006.

3) HONDA 社 ASIMO のウェブサイト. https://www.honda.co.jp/ASIMO/.
4) Nils Smit-Anseeuw, Rodney Gleason, Ram
Vasudevan, and C David Remy. The energetic
beneﬁt of robotic gait selection―a case study
on the robot ramone. IEEE Robotics and Automation Letters, Vol. 2, No. 2, pp. 1124–1131,
2017.
5) Jessica K Hodgins. Biped gait transitions. In
ICRA, pp. 2092–2097, 1991.
6) Kenichiro Nagasaka, Yoshihiro Kuroki, Shinya
Suzuki, Yoshihiro Itoh, and Jinichi Yamaguchi. Integrated motion control for walking,jumping and running on a small bipedal entertainment robot. In IEEE International Conference on Robotics and Automation, 2004.
Proceedings. ICRA’04. 2004, Vol. 4, pp. 3189–
3194. IEEE, 2004.
7) Taisuke Kobayashi, Yasuhisa Hasegawa, Kosuke Sekiyama, Tadayoshi Aoyama, andToshio Fukuda. Uniﬁed bipedal gait for walking and running by dynamics-based virtual
holonomic constraint in pdac. In 2016 IEEE
International Conference on Robotics and Automation (ICRA), pp. 1769–1775, 2016.

– 10 –