計測自動制御学会東北真細第17丁回研究集会〔仰臥10．叫31J
資料番号177−22

4足歩行ロボットにおける歩行パターンの自己形成
Self−generationofGaitPatterninQuadrupedWAlkillgRobot○陳立忠，大槻恭士，大友照彦
OLipTongTan，TakashiOtsuki，TerullikoOl1tUlllO
山形大学

YamagataUlliverslty
キーワードニ 四足歩行ロボット（quadl・uI〕亡【＝Ⅳ北ingRob叫，歩行パターン（Cili【Pfltl・e叫．学習rLeil‖1i‖gJ：リズ
ム・ジェネレーF（CentralPdlLernGerLeratOr）．対称歩容〔Sy一‖rtLCLl・j［dl（lこIi（l）atte‖り連絡先：〒992 山形県米沢市城南4−ユー16山形大学工学部共通謝座大友研究室
陳立札Tell：（02叫26−3382，Ihx．＝（0238）2Gr3388．E−mail＝tan帥anama．yz．yam且gata−u．a。，jp

1．はじめにわれ始めている。しかし、これらの研究では、各足の動きをプログラムによりあらかじめ与−えて歩対地適応性という点から考えると、脚式移動は行させているのが現状である。四足歩行運動を決有効な移動手段の一つである。その中でも四足移定するには変数が非常に多いため、そのようなシ動は安定に高速な歩行と走行を行う機能を持ち、ステムに射し、最適なパターンを与えることが大

近年、その実用化に対する要望が高まっている。

変困難であり、その移動能力は現在のところ実際四足歩行は、3脚で支持して1脚だけを前方への四足歩行動物とは比べものにならない。さらに、振り出す静歩行と2脚以上が遊脚になり、動的外部環境、目的が変化する場合には対応した歩行に安定を保つ 動歩行 に分けられる。前者は制御パターンを与えなければならないが、これはほぼが容易であり、不整地歩行を実現し易いが、歩行不可能である。この間眉を解決するため忙ト→つの速度が遅いという問題点がある。一方、動歩行は手段として，人工生命が注目されている。それは静的には不安定であるが、移動速度や消費エネルロボットに評価能力を与えて、試行しながら、そギーの点で価れている。美麻、普通の動物の歩行の歩行パターンを自己評価して、各パラメータをでも、静歩行はあまり行われておらず、ほとんど調整しながら．最適な周期パターンを見川す方法の場合、より動的な歩行が行われている。従って、である。

四足歩行ロボットにおいても、脚式移動ロボットの機動性を十分発拝するために、動歩行を実現する必要があると考えられる。
近年、四足ロボットの動歩行に関する研究が行

以上のような背恩のもとに、本研究では四足歩行運動の力学的解析によって運動方程式をたて、学習能力を持たせることによって、四足歩行パターンを自己形成するシステムについて考察する。また、歩行パターンを形成するための最適な学習アルゴリズムを提案する。

2．歩行運動の原理
2．1対称歩春
本研究では、勤歩行のうち、最も代表的な二脚が対になる歩容を扱い，デューティ比・αを0．5とする。二脚着地の対称歩容は、基本的に以下の三種類に分けられる。
・n・Ot：対角の脚が同時に動く。

Fig．1Ncul・alNetwoL・kMo（1＜ユl・Pace：左右について園側の脚が同時に動く。
・Bound：前後について同価の脚が同時に動く。

発振を作り出し、介在ニューロンで位相差を調節して、関節の運動軌道を規定する。その結合関係

2．ヨ 歩行パターンの生成をFig．1に示す。

動物の四肢達働では、小脳に刻々の運動の状況

Fig．1のように、ニューラル・ネットワークは、が送り込まれ、小脳の皮質がこれについてある計ある周期で発振する神経細胞群と、ロボットの足井を行い、計算結果に従い出力系を通じて運動パに司令を送る出力細胞から構成される。式tりに示

ターンをより適応的に修正することが明らかになっすように発振細胞旦再）はそれぞれの重み町をている。歩行のようなリズミカルな運動パターンつけて加算することによって．出力波形†1（りがは、神経系のかなり低いレベルで自律的に処理さ合成され，それによってロボットの関節角〝′が式れ、歩行のリズムは、脊髄竹中にある神経回路の（2Jのように制御される。また、介在ニューロンlh発振によって発生していると考えられている。そは各関節の位相差を調整する役割を持つ。のようなリズム・ジェネレータは、CPG（CeIltl・aI

瑚J＝∑町ノてノ（けl帰PatternGenerator）と呼ばれている1）。CPGから川J

一打≦叫J≦汀，0く什」≦上Jビ1・ju（1の出力は介在ニューロンを介し、調節して各足に伝えている。歩行において周期パターンが実現し∬0（り ＝1．0．ている時，最も大きな影響を与えるのは，各発振ズ1（り ＝ S叫山什器（CPG）間の位相差である。従って、関節の発振∬コ（り ＝ COS〔山・甘周波数と各足の位相差をうまく制御することによ苦再）＝ 血（2山〕，り、外部環境や目的に適応した歩行パターンが実現できると考えられが）。
股関節：本研究では、このCPGを構成する細胞の特性とβi＝一号一号＄ill作（仙（よ＝（1。2．∠t．机

その聞のシナプス結合のパターンを用いて、周期膝関節：−ある脚が歩行の1サイクル内で着地している割合は、デューティ比α（Dくαく1）と呼ぷ．

β．・j＝ 号一芸Sinけ拍））1り＝1，二う11・7J−2−囲

3．ロボットのモデル化

原点から見たリンクfの姿勢及び位置は式（：i）のょうに与えられる。

lTu ＝ OTllT2＝ f−1Tゴ−1T−＝［Ri言りPjこ1・］式（4）において．nが回転行札 Pが並進行列であり、接地脚の足先の移動距離からロボット原点の移動距離を求める。Fi島．3は．ロボットのポーズを計算するアルゴリズムを示し，サンプリング時間毎のロボットのポーズを繰り返して計算する。

Fig，2 Robot ModeI

本研究では、Fig．2に示すロボットをモデルとして、シミュレーションを行う。ロボットの座標原点を胴体の中心にとり、各関節は1自由度とする。

・股関節 昔≦β−≦芋（i＝1，3．5，7）Fig∴1Algol・itl川1t加（二二i・・l川lとItiI唱nOl．血・ っⅠ｝（酔・膝関節一昔≦βJ≦0〔J＝0，2，4，6）
サンプリンダ時間におけるロボットの姿勢と位

4．四足歩行ロボットの運動方程式

置をシミュレートする時は．以下の仮定を置く。
歩行学習を移動と言う点からとらえると、重要【仮定】

なのは、最大移動速度や移動効率という指標であ
1）ロボットの関節角は、目頓角度にきちんと追る。これらは、転倒する・滑べる・牒くといった事従する。

態が生じない限り．制御ではなく力学の閲歴とな

2）ロボットの件のどこか2点は必ず床に接してる。従ってロボットの歩行運動を評価する時には，いる。

その移動を力学的に解析しなければならない凸凹

ロボットの姿勢と位置を求めるには、原点を固定

足ロボットの軌歩行について、各脚がロボット全点として、重心によるRoll軸とPitcIl軸まわりの変体に与える影響は、相の遷移に従って激しく変化

化土（∂軋∂叫と各関節角の変化量〔即り．・・・，朋丁〕する。さらに、動歩行はパラメータが多く、適用の10個のパラメータにより、同時変換行列Tで求する運動方程式が非常に複雑である。ここでは簡める。行列Tはロボットリンクの並進と回転を同単のために、対象とするロボットの各接地脚の床時に計算出来るので、コンピュータビジョン関係圧力が等しいと仮定し，ロボットの座標原点を胴でもよく使われる。行列Tを用いることによって、体の中心に取る。
−こi−

Fig．封こおいて，ロボットの状態変数の次数n＝定義を検討し，新しい学習方法 −＼一7eし≠）1・h．1S亡こIl・−・】】

10、制御入力の次数吏＝畠、2脚が着地している

Ⅳktll叫Ⅴ・S・叩・ト を提案する。また、他の学習時の拘束条件の次数m＝4であり、状態変数（1と方法（G．A．とL．S．M．）と比較して考案することに制御入力Tは、以下のように表す。

する。

q ＝【ヱ，封，恥…，叫‡∈Rn

5．1 評価関数

T ＝【旬，T．⊃…，巧ド∈Rた

およそ何かを学習させる時、その成否を判定す床との間に拘束がない遊脚相の時には、独立なるためには評価の基準が必要である。∠l．節で述べ2リンク運動と見なすことができる．ちなみに、

たように、最大移動速度や移動効率という指標を接地していない限りでは、十個の状態変数で、脚基準とすれば、相応しい歩行パターンを碍られるが独立な平面2リンク系として、ラグランジュのと考えられる。本研究では、ロボットの歩行運動運動方程式で解けばよいと考えられる．以上の仮の安定性、移動速度と消費エネルギーから評価す

定により、床との拘束がない時のラグランジュのる。

運動方程式は式（5〕になる。
【安定性】

Mヱi十H＋G＋D＝CT〔5）●ロボットが転倒しないこと。

ここで、【移動速度】

M（q）＝慣性行列∈RnXn，G（qト重力項∈RれH（q．4）：遠心力項∈比丘，D拍）＝摩擦抵抗∈Rn
C：駆動行列∈R．−1油●1周期で，重心のユ方向の移動距灘Dを最大．丁：関節トルク∈Rたにすること。

2本の足が接地している時はm＝4個の拘束力【消費エネルギー】が働いているので、脚の先端に床反力を生じ、各●力学系に与えられる運動エネルギーE′を最関節のトルクも急に大きくなる．その時、拘束条件式を考慮する運動方笹式は式（6〕になが）。

小にすること。

M旦＋H＋G＋D＝CT＋Etf●足の滑り摩擦に失われるエネルギー軋を最小にすること。

∂e E＝】e：拘束条件式∈Rm】J＝床圧力両以上により、評価関数Eは式（6）から、床反力と各関節のトルクを求める享E ＝ D一世軋＋んJE5）ができる

8E上＝上T∑r（T由打i＝1

5．歩行運動の学習

宣／ご＞（）ll（ユリ＝（ごげ苦≦0

歩行運動の学習では時々刻々の入力に対する望た【：軌の係数 ん∫：E∫の係数

ましい出力が得られるため，ロボットは自分の行動を評価し，それを信号（評価値）として期待値を最1＝リンクパこ働くトルク［N＝］大にするような出力系列を達成する。本研究では．
仇ニリンク′の角速度卜a〔りゴ］

その学習の進行方向を大きく左右する評価関数の4（T）

5．2．遺伝的アルゴリズム

改良しない場合は、最上位の個体以外の全個体に突然変異を畢生させる。

近年、計算機科学や生物学などの分野において注目されている最適化あるいは探索の一手法であ5．2．4 交差及び東燃変異る遺伝的アルゴリズム（CeneticAlgol・ithI−−；G．A．）

本研究では、1点交差を用い、二つの個体から、は、次の探索点を設定するために現在の探索点における評価値だけを用いており、評価値の勾配な遺伝子毎で交差を行い、新しい子供を作り出す

どを用いないので、不連続な評価関数の探索に適〔Fig．叫なお、1点交差の交差率r」・仙＝U5、用できる。そこで、G．A．を四足歩行パターンの学不良個体の突然変異率は0．1とし、全個体の突然習アルゴリズムとして適用すれば、学習効率が上変異率は0．U5とする。

がることが期待できる4）。
CFrロ日○中0日巾

5．2．1 生物集団の尭生木研究では、Fig．4のような呂佃の遺伝子から構成される染色体を用いる。01の10bit列を各遺伝子とし、ニューラルネットの重みを表す。初期の生物集団は乱数を用いてランダムに畢生させる。
】

5．2．2適応度の計算
f、ig．4・ull・01110犯11叩；ll■1〔1011eIIui山（「llUゴゴOV仁r
個体毎で各遺伝子を式（8）．（9）を用いて各重みに換算して、ロボットの関節軌道を求める。そして、

5．3 Likelihood Search Metho〔1ロボットが試行しながら、式（7）を用いて、適応度
Likeli】100〔1Seal・CllⅣIeL・llO（1（L・S■M．）は古賀らが〔評価関野）を算出する．ロボットが転倒すればE＝0，転倒しない時のみ、適応度（E）は式（叫のよう提案した新しい最適化ランダムサーチである。に1から計算する。

L．S．M．は、微分情報を活用し、探索の集中化とufJ ＝ 打￣210（l帥呵10†拓多様化を統一した枠組で実現可能な手括である。

（10叫10210

X2打

その有効性は既に報告されていが〕。以下、その最適化手法を簡単に記述する。

Xperiod

ここで、町Ⅳ：変数行列、．1：1−lr：探索変数行

Ei＝（軌−Emin）＋1列、上：探索回数とし、評価関数Bの最大化間顔で、Ⅷの探索は次のようになる。

5．2．3 淘汰及び増殖E（llJト1＋Jよ）＞E（・l亡十−〕＝⇒ 描r←押r】＋．√＝r

価件群を適応度の大きい順に並び換え、適応度Eい〃ト1＋巧≦叫〃ト1〕＝⇒ ‖ノ←・‖⊃ト1

E＝0の個体を淘汰するため、その個体の突然変D＝た子供に自分を置き換える。連続錮0回の学習で、∑i＝u〉J■＝ll−5−tノ 予∴ ︷の個体以外の良い僻体群は交差によって作り出しリ一勾配のノルムDは、異で作り出した子供に置き換える。また、最上位

l−＝Jここで、缶は、OrdeTedderi血veであり、他の変数を固定し叫を変動した場合のBの変動分を表している。また，ヱ＝0．0〜1．0の乱数とし．

0≦ヱ≦p＝⇒∬り＝−をh（言）（12〕P≦；≦1・0＝⇒句＝いn（苧）（13〕β＝min†直上げ用（α叫り＋β。
諜≧0→p＝1・0−0・5仁一中β
言語く0＝⇒曾＝1・0−0▲5仁一押

p＋甘＝1．0

（14）

（15）

（16）

Fig・6 lmagiIledlloLIIltaitlOl）う．11ll＜」壬L（17）

ここで、（βロ．れり．可＝（2・0ル8，0・叫3■0丼0）。・仙を探索する時にはα＝2．D，Ⅳの探索にはα＝0．2とする。また、βとD．p，ウとβの関係をFig．5に示す。

（d）

F料5（a〕Relatio11beLweenPandD，（b）RelatioIlb巳tWeenp，曾aIldβ
ドig．7 Algol・it上11TlrOl・Ⅴ．S．1一Ⅰ．

5．4 VectorialSear亡h Method
Ⅴ・S・M・は、評価関数の多峰区間（廿りのb次元四足歩行運動では、ロボットの転倒や相の遷移区間と一札の2次元区間）において、現在点から各により、ある重み叫を穂小変動すると、評価関方向の微小変動の評価関数に対する影響を調べ、数の変動分は激しくなる可能性がある。即ち、評そして、評価関数の最も変動の激しい方向に探索価閑散は完全な連続関数ではなく、微分出来ないしてゆく手法である。Fi邑．（∃は二次元探索変数と部分も存在すると考えられる。また、古賀らが提評価値盟が構成する多峰区間の仮想固である。そ案したL．S．M．では全ての探索変数を同時に変動すの仮想図を例として．現在点〔1から次の改善解をる時には、式（11〕の勾配のノルムDが信頼出来な探索する時、Ⅴ．S．M．は‡叫んっりりの四点を用いてくなる場合がある（Fig．帰そこで、我々はより高評価値の変動を算出し、探索領域をいヲ，一州こ決め効率の学習方法Ⅴ．S．M．を提案する。

る。L．S．M．の場合は現在点nから、J・と〃方向−6−の勾配を別々に計算するため、改善解方向に行け

L・S−M・では探索の集中化と多様化は式（l叫からずに、（∬，封〕のほうに探索してしまう。

実現することがわかる。それを適用すれば、

Ⅴ且M−はL．S．M．の探索の集中化と多様化を

ノヨ ＝Ⅰ−−叫両⊥・uj叫′川（（Yll上・D）チトト「ん（叫保ち、探索方向の換作を利用して、探索変数の変xこ×J町叫

旬＝化方向と変化量を調整する白また、探索の次元を（叫J．β ＝Illil巾t√申l′D）∫ノ，7幅tr・VDド†＋且帰一・lj

減らすために、すれ違う性質の結合係数九（CPG∫＝×の重み）とⅣ（介在ニューロンの重み）を分けて探＝ノ叫仲叫−−ご：，−、、索する。そのアルゴリズムをFig．7に示し，歩行（乱打＝）＝（20，（）．叫叫軋U）運動の学習に適用する時の手順は、以下のように（α1コα2コ叫，輿）＝（ヨ．0，与．0，2．0，1（川）なる。
ln︼

l0

∩リ

ここで、Jh〔悠は正定数、ご＝0．0〜1月の乱数。

l▲U

Ⅷ

一lnリ

さらに，式（叫から扶7D≦nの時，近傍に改善解（呵Ⅷ

ひn上Ⅷ

Ⅷー

Ⅷ

昭［打が存在する可能性が低いため，丹は探索区間内に再抽選させる。Ⅳも同じ手法で、ローカルマキシ分けて学習し、改善解があった時片方に新しい解マムから脱出できる。そして、探索した変数は以を代入する。また、探索方向の決定闇以下の方向下のように判定する。

ワ︼

重み叫Ⅳは探索対象（Fig．1）であり、tUとトドを探知マトリクス〟仙（64×軋〟Ⅳ（4x2）を用い

E〔・l上十l＋巧 ＞ Eいt】トl〕二⇒て、ⅧとⅣを計算する。
l11l

11仙 ← Ⅲト1＋ユごl

1l1111＝11111E（紬仁1＋ユ：√）≦ E（llJト￣l）＝⇒

一 叫

1一・仙 ← 山ト1＋ノ叫小皿・，rJ‖・t（㌫）E（lγト1＋∬亡〕＞ E叩′トl〕＝⇒

1

1一l ll一1

Hパ ← 虹ト1十∫上

1一一l lrリゝ・さE仲■ト1十詔）≦ E岬rr上）＝⇒（19）

一t上：だ人廿iJ

酔 ← 腔￣1＋ノ叫l′い肌．■・〕品川！J）

叫叫J＋〟叫【i沼一り】）X山1）

6．シミュレーション結果
一月（叫J）

丁止Ie】にはそれぞれ生物団件数が封‖と1仙のⅧD ＝Illa可m且ん〕

G．A．，L．S．M．及びⅤ．S．M．を用いて．異なる初（血1＝0・001，た＝0〜63，ゴ＝0〜1，J＝0〜2）期値を設定し，各5回計算した結果を示す。その中で最も高い評価値が得られるのは生物団体数をJl川にするG．A．であるが、生物団体数を20Uにすると、

トIJ且た ＝ 刷町＋ノulγ（叫×血2）

その探索効率も下がる。l．．S．M．については、5回一旦（I帰の学習結果で、トロット、ペース及びパウンドの一ヰ／D ＝ rrlaX什r」軋）様々の歩容になる。それらはローカルマキシマムに陥っていると考えられる。一方、Ⅴ」S．h′T．のほう（d■u2＝出，烏＝0〜4，f＝0〜1）

7

Tablel SimulationResultsofG．A．，L．S．M．aIldV，S．M．
＝0．01，ん亡＝0．1，克j＝1．U＝20000】
G．A．

Case234T】・Ot

P且じe345Rr‖l11tl

a亡亡

d55生物集団
400
G．A．

P且比erllrrl・Ot

Ca．se

1

Tl−Pt
つPac亡

生物集団
ヱ00

Pa亡terIl

Ttot

Pa亡e

Pal二e

コ

Ca占e

31．S．M．

Pattern

Tr山Cas亡B（〕ll【ld Boulld

P且亡eコ

3

4Trot

Tl†OL

Tr（Jt

BりIll】d5Ⅴ．S．M．

Pattern

Tl−Dt

Tr亡止

は安定して、毎回高い評価値の所に着き、対称歩称歩容がトロットであるが、トロットが実現でき行の中で最もエネルギーを消費しない、安定的なない移動速度のときには、より大きいエネルギートロット歩容が得られた。

を消費する動歩行であるペースやパウンドを行う。

このような移動速度に応じた歩容の遷移を制御す

また、Fig．8はTablelに各学習方法の最もいい評価値を得た学習過程をプロットしたグラフである。

るためには評価の基準を検討しなければならない。

Fig．引こより、生物団件数が200のG．A．とL．S．M．

これについては今葎の課題とする凸はローカルマキシマムから脱出しにくいことがわかる。生物団体数が400のG．A．とⅤ．S．M，はローn︼カルマキシマムから脱出し、学習の前半でグロパ

ハリ

Fig．9はⅤ．S．M．を用いて学習した歩行パター∧uロq讃．ヨ石2由ルマキシマムに着いた。

ン（Ca畠el）の1／20周期ずつの解析写真と2周期分の∩−着地状況を示すグラフである。ロボットがエネル

2

エU

ギーを無駄にしないために、遊脚が高く上らすに，5000大きく前に振り出すことは解析写真からわかる。

1D亡旧D

15DOq

2DOOO

Se之1r亡llItl汀址ti【lロまた、下のグラフから、ロボットは対角の足を対ー転．占 Seal・（二】1〔hrⅢSにして、位相差1／2周期の安定したトロット歩容になることがわかる。

参考文献
1）宇都宮敏男〔轟），有働正夫＝生体の制御情報シス

7．おわりにテん344／356，朝倉書店t上9811
ヱ）湯浅秀男，伊藤正美＝自律分散システムとその歩行パターン発生器への応用，計測自動制御学会論文集，25−∃．180／1即世叫

本研究では，ニューラルネットを用いた四足ロボットにおける歩行パターンの学習に、提案した

3）日本ロボット学会（拒〕，木村掛ロボットT学ハン

ドプッ久33即3叫コロナ社（19叫

Ⅴ，S，M．を適用して、対称歩容の動歩行を実現し

4）安居院乱長尾智晴＝ジュネティツタアルゴリズた。提案したⅤ，S．M．は生物団体数が400のG＿A．

ム，1／2T一昭晃堂（1996）

5）古賀嵐平沢宏太郎．大林正直：ニューラルネッ
トワークの学習におけるB．P．M．とL．S．M．の最適評価指標探索能力の比較評価，計測自動制御学会
論文集．3471， 11／ 17〔19呵の探索能力がありながら、計算時間はG．A▲の1／20である（DigitaLPer＄On乱IWark畠tation5UOau）．

動物の動歩行では、最もエネルギーが小さい対一8−0・05【≦】 凸．凸【m】

l■0【m】

0・55【ゞ】0・（＝ⅠIll

1．0［山りq■10I曹】 0．り【m】

1・U【m】

0．60【ざ】 D．OtI11】

1．0【lIll

0−15r■i】 0・0【m】

1▲0【mI

0・占矩Ⅰ ロ．0【ⅠIll

1．0【ll⊥］仇ユ0【盲l O・Orm】

1．0【l11】0−70【5】 n．n【m】

1・Ol叫

0・ユ5【⊆】 0・0Ⅰ＝−】

1．0【nl】

D．T5［5」 0．Oll■−】

1．0【tl−j0・コ叫】 0，0トn】

1．0【m】n．甜【〜】 n▲0工m】

1・n L＝l】□・コ5【ぎ】 0・0【m】

1・n【m】

0・＄5［ゴ】 0・0【■■l】

1．0【‖1】凸−40【≦l O▲0【ml1■n【mlD・pO【盲l O・0【可1．（I【山l0・45【睾】 OtO【m】

l・0［mlU．p5【ざ】 U．Orm］

1・U【n■】

0・5ロIi】 0．0【m】

1・0【m】

1一仙【阜1 u．uトn］

1．UI爪11・．ノ⑳FR●FLO HR●HLニ（IJ・訂iし｝しりFig．9 G山Pat血rl（Tl・UL）−9−