行動に基づく情報獲得に向けた形態と制御系の同時設計
杉浦 孔明 †‡ , 赤羽 真 † , 塩瀬 隆之 †‡ , 下原 勝憲 †‡ , 片井 修 †† 京都大学大学院 情報学研究科‡ ATR ネットワーク情報学研究所

Autonomous Design of Morphology and Controller towards
Behavior-Based Information Acquisition
Komei Sugiura†‡ , Makoto Akahane† , Takayuki Shiose†‡ ,Katsunori Shimohara†‡ , and Osamu Katai†† Graduate School of Informatics, Kyoto University‡ ATR Network Informatics Laboratories

Abstract: This paper describes a system which automatically designs sensory morphology ofan autonomous robot. In this system, a Genetic Algorithm is used to evolve sensor layout that is
appropriate for learning line following task. We made the system to design a line following robot,
and then constructed physical one. We have carried out experiments on how the robot learns tosolve the task. The results have shown that the robot outperforms man-made robots on average
lap time and robustness against changes.
Keywords: sensor evolution, ecological balance, embodiment, learning and evolution

1. はじめにを獲得させる研究が注目されている [5]．
このような考えに基づき，Sims はエージェントの行動学習に有利な形状を持つロボットは，どのように形態と制御系をソフトウェア上で進化させることに成設計すればよいのであろうか？

功している [4]．Lipson らは，この手法と迅速成形技

ロボットの行動学習に関する多くの研究において，術を組み合わせることによって，ソフトウェア上で得学習器はセンサ空間とモータ空間のマッピングを自律られた形態を，ハードウェアとして実現した [2]．し的に行なうものとされている．実環境で行動するロ

かし，これらの研究では個体発生的なスパンにおけるボットは，センサおよびアクチュエータ (モータ) を適応，すなわち学習にとって有利な形態を自動設計さ用いて環境と相互作用するため，センサの位置が変化せたものではない．一方，Jung は学習の結果を用いしただけであっても，信号が表す物理的変化は異なるて，系統発生的なスパンにおいて状態空間の再配置をものとなる．その結果，ロボットの知覚世界が変化す行なっているものの，形態の設計システムとして実現るだけでなく，学習すべきマッピングも変化するといしたわけではない [1]．

える．

そこで本研究では，ロボットの形態のうちセンサに一方，アクチュエータやセンサを含めロボットの形着目することによって，ロボットの行動学習に有利な態は設計者により与えられ，固定されていることが多形態を自動設計するシステムを構築する．すなわち，い．形態の設計と，ロボットの制御系の設計とは，別々本システムは，ロボットの学習能力に適した状態空間の観点から行なわれてきたためである．例えば，センを構築するために，学習結果に基づいてセンサ形態をサ形態の設計においては，設計者が物理量を計算しや自律的に設計する．センサ形態に着目する利点は，1)

すいような設計が重視されてきた反面，制御器が用い「物理世界」と「情報世界」のインタフェースであるセる学習則との関連は考慮されることが少なかった．

ンサをボトムアップ的に構築できる，2) アクチュエー

しかしながら，環境の変化に適応的なロボットを構タを固定するため，ハードウェア上で実現しやすい，築するためには，形態・制御系・環境のバランスを考という 2 点である．

慮しなければならない [3]．Pfeifer はこの設計原理を以下では，本システムを用いた設計実験および得「生態学的バランス」と呼んだ．近年，形態と制御系られた設計解，加えて実機による検証実験について述をうまく組み合わせて，ロボットに適応的な振る舞いべる．

N th generation(N+1) th generation

Learns t f at

Task Environment

Figure 1: 設計

2. センサ形態設計システム

ただし，個体発生的時間スケールで行なわれる学習に関しては，世代間で学習結果の継承は行なわない．す2.1 「学習しやすい」センサ形態の自動設計
行動学習に有利なロボット形態を設計するためには，実機を用いて実験と調整を繰り返してもよい．しかし

なわち，ラマルク的進化は用いない．

2.2 タスク環境

ながら，このような手法では，1) コスト (時間，回路本研究では，設計システムの適用対象としてライントの再設計など) が大きい，2) 設計にバイアスが入ってレーサを採用する．ライントレーサとは，床に引かれしまう，という二つの問題がある．

たラインに沿って移動しゴールを目指すロボットのこ

これに対し，本研究ではシミュレータを用いて実環とである．用いるコースを Fig. 2 に示す．コースは境を模擬し，ソフトウェア上でロボットの形態を自動

2m×5m の長方形で，4 分の 1 ずつの地点にチェック設計させる．このようにして得られた形態を設計指針

ポイント p1 , p2 , p3 を設けてある．

として，ハードウェアを組み立てることにより，上に挙げた二つの問題を解決する．本研究で構築した設計システムは，ソフトウェア上でロボットの形態を書き換えることにより，様々な形態のロボットに適用可能である．なお，本システムでは，シミュレータとして

Cyberbotics 社製の Webots1 を使用した.
本設計システムでは，学習に有利な形態を自動設計するために遺伝的アルゴリズム (GA) を用いる．各GA 個体には，センサ形態がコーディングされ，学習結果に応じて評価値が与えられる．設計のおおまかな流れを以下に示す (Fig. 1 参照)．

タスクとしてライントレースを用いる理由として以下の 2 点が挙げられる．

• 人手によるによる設計との比較が可能
ライントレースは多くの大会が開かれ，かつ多くの専用キットが販売されているため，人手によるセンサ形態のサンプルが多く存在している．そのため，本研究の設計システムによるセンサ形態との比較が可能である．

• センサ配置の変化が情報の意味を変化させる
例えば，2 個の床センサをラインに対して平行に配置する場合と，垂直に配置する場合では，ロ

1. 初期世代をランダムに生成する
2. 行動学習ループ(a) 各試行ごとに報酬に基づき学習を行なわせる(b) 一定の試行回数が終了後，結果に応じて評価値を与える

3. 遺伝的操作を加えて次世代を生成する

ボットが得る情報の意味は大きく異なる．そのため，より高いパフォーマンスをあげるには，センサ配置を効果的に配置する必要がある．一方，大会で用いられるロボットの多くでは，センサ配置が単純かつ規則的である．

2.3 設計対象
設計対象として，Fig. 3 に示すようなロボットを選んだ．このロボットは，マイコンカーラリーにおいて4. 終了条件が満たされるまで 2. と 3. を繰り返す
1 http://www.cyberbotics.com

標準的に用いられている文化総研社2 のマイコンカー
2 http://www.bun-net.co.jp

Figure 2: タスク環境

Figure 3: ライントレーサを元にしたものである．ただしこのロボットには，シ• 実験 A : 本システムを用いたセンサ形態の設計

ミュレーションで扱いやすいように，2 輪型へと改造

前節で説明したシステムを用いて，ライントレーを加えている．

スの学習に有利なセンサ形態を自動設計させる．

ロボットは床センサを用いてラインを検出する．床センサは赤外発光 LED と受光素子から構成され，床• 実験 B : 人手によるセンサ形態との比較

面の色に応じた値をコントローラに渡す．本研究では，

実験 A において得られたセンサ形態を固定し，人床センサの配置および個数に対して 2.1 節で述べた設手によるセンサ形態と比較する．すなわち，両者計システムを適用し，自律的にセンサ形態を獲得させのセンサ形態に対して強化学習による学習結果をる．本来，センサの位置は連続値であるが，今回は簡調べる．

単のため，床センサを配置する位置の候補を 32 個用意し，32bit の遺伝子型としてコード化した．これに個体の適応度は，各試行でのゴールまでに要したスより，センサの配置と個数を変更可能にしている．

テップ数から算出される．すなわち，適応度 Φ は以下に示す φ の平均とした．

2.4 行動学習

φ=1−

個体発生的時間スケールにおいて，ロボットは Q-tTmax

learning を用いて行動を学習する．ただし，ロボットが観測できる情報はセンサ値のみとした．すなわち，ここで，t はそのエピソードでゴールまでに要したス

絶対座標などの情報は与えていないため，ロボット自る．ただし，ゴールできなかった場合は φ = 0 とし，身の視点から得られる情報を用いて行動を学習する必チェックポイントまで到達した場合には，φ に補正を要がある．また，ロボットの行動として，直進・左折加えた．

(大)・左折 (小)・右折 (大)・右折 (小) の 5 種類を用意した．なお，行動選択には -greedy 戦略を採用した．

3.2 設計実験の結果 (A)

ロボットには，100 回の試行機会 (エピソード) を与え，エピソードごとに位置および向きを初期化して最テップ数，Tmax は最大行動ステップ数 (2000 回) であ

まず，本研究で提案したシステムの設計解を定量的に検討した．Fig. 4 は，各世代における適応度と，そ大 Tmax ステップまで行動を行なわせた．ロボットは，の世代の最良個体のセンサ個数の変化を示したもので各ステップごとにラインの中心からの近さに応じて報ある．ただし図において，実線は最大適応度を，破線酬を得る．学習の結果，ゴールへ最も早く到達できるは平均適応度を，点線はセンサ個数をそれぞれ表してようになった個体ほど，評価が高くなるように適応度いる．実験を 10 回行なって，その平均値をプロットを与えた．

した．

3. システムの適用実験
3.1 実験設定
本節では，提案するシステムを用いて行なった 2 種

Fig. 4 より，最良個体においては，センサ個数が減少するに従って適応度が増加していることがわかる．
例えば，第 5 世代 (センサ数 7 個前後) の適応度が約0.2 であるのに対し，50 世代目 (センサ数 5 個前後) の適応度は約 0.4 に上昇している．この結果から，ライ類の実験について述べる．実験の概要は以下の通りでントレース環境においては，5 個前後のセンサを有しある．ていることが学習に有利であるといえる．これは，学習器を用いることによって，マイコンカーラリーで標準的に用いられるセンサ個数 (8 個) を，減らすことが

0.5

100.4

80.3

60.2

40.1

bestaverage
number of sensors

00102030generation

40numberfitness

できることを示唆している．

Figure 6: 左図: デフォルト配置のマイコンカー M1，
中図: マイコンカー M2，右図: 本手法で設計されたマイコンカー M32認された．また，状態空間が大きい M1 に対しても，0とから，物理世界を適切に観測することによって，よ収束速度とパフォーマンスの面で M3 が勝っているこ
50

Figure 4: 最大適応度，平均適応度，最良個体のセンサ個数の変化 (10 回の実験の平均)

り効果的な学習を行なえることが示唆される．
0.6

Evolved (5 sensors)Regular A (8 sensors)
Regular B (5 sensors)

0.50.4本システムによって設計されたセンサ形態のうち，代表的なものを Fig. 5 に示す．ただし，Fig. 5 には，センサの数が 4，5，6 個の 3 通りを示した．

φ 0.30.20.1
00204060
episode80100

Figure 7: 学習結果の比較

Figure 5: 設計された形態の例: 4 個 (右), 5 個 (中), 6個 (左)3.4 考察本システムによって獲得されたセンサ形態に関して，3.3 人手によるセンサ形態との比較結果 (B)

配置と個数の点から考察を行なう．

実験 A において得られたセンサ形態と，人手によるセセンサの配置ンサ形態を用いて学習結果の比較を行なった．比較対Fig. 5 に示すように，獲得されたセンサ形態は以下のような特徴を持つ．

象のセンサ形態を Fig. 6 に示す．Fig. 6 左図がマイコンカーのデフォルトのセンサ形態 (M1) であり，右• 配置が左右非対称である

図が本システムの設計解 (M3) である．この 2 種類に今回のタスクは，コースを半時計回りするように加え，設計解と状態空間の次元が等しいマイコンカーしたため，S 字カーブを除けば左カーブが多い．

M2(Fig. 6 中図) を用意し，3 者で比較を行なった．

そのため左カーブを得意とするセンサ形態の適応

Fig. 7 にエピソードに対する φ の変化，すなわちゴールに到達する早さの変化を示す．図において破線・点線・実線は，それぞれ M1・M2・M3 の結果を表す．

度が高くなったと考えられる．

• 前後に分散して配置している

Fig. 7 より，本システムが設計した M3 が，全ての横一列に並んだ配置は，ラインの前後関係を読みエピソードにおいて高い値を示していることがわかる．

取ることができない．そのため，ロボットがカーこのことを確認するために，エピソード数を増やしてブの上にいるのか，あるいは直線の上にいるのか，同様の実験を行なったところ，Fig. 7 と同じ傾向が確をロボット自身が判断することが難しい．前後にセンサが分散することで，ラインの前後関係からで更新することはない．M3 のセンサ形態は，本シス直線やカーブといったラインの形状をロボットがテムが自動設計したセンサ形態のうち，センサ数 5 個読み取ることが出来るようになったと考えられる．のものを実装した (Fig. 8 参照)．M3 のコントローラ
は，M2 と同様に設計実験で得られた Q 値を用いたもセンサの個数

自動設計されたセンサ形態は，5 個前のである．

後のセンサを持つものが多い．センサの個数は状態空

各マイコンカーは 5 回試行することができ，1 回の間の次元を決定するため，学習速度と取得できる情報試行はコースを 10 周するかコースアウトすると終了量に影響を与える．一般的に，次元が少ない方が学習する．走行性能を検討するため，M1, M2, M3 の平均の収束が早いが，学習収束後のパフォーマンスは次元ラップタイムを比較する．また実機では，バッテリーが多い場合よりも低くなると考えられる．しかし今回の消耗のため，ラップを重ねるごとに同じコントローの実験では，学習が収束した後であっても，センサ数ラでの走破が困難になるという特徴がある．そこで，が少ないロボットのパフォーマンスが高い，という結マイコンカーのロバスト性を調べるために，平均滞在果が得られた．これは，少ない状態空間を効果的に用

平均ラップ数についても比較を行なう．

いれば，収束速度だけでなく，学習結果も改善できることを示している．
以上のことから，本手法を用いることにより，タスク環境とロボットの学習能力に適した状態空間を構成させることができ，より適応的な行動が可能になることを示せた．

4. 実機による検証実験
4.1 設定Figure 8: 製作したライントレーサ (M3)

本システムにより得られた設計解を実機に実装して，既存手法との比較実験を行なう．本実験では，3 種類のロボット M1, M2, M3 に対してライントレースを行なわせる．これらは，Fig. 6 の左，中，右のロボットにそれぞれ対応する．用いたロボットの比較表を Table

1 にまとめた．

4.2 実験結果
実験結果を Table 2 に示す．表より，平均ラップタイムを比較すると M3 が最も速いことがわかる．加えて平均滞在ラップ数は M3 が最も大きいことから，M3は M1, M2 に比べてコースアウトの少ないロボットでTable 1: ロボットのセンサ形態とコントローラあるといえる．すなわち本システムは，実機においてマイコンカー

センサ形態

コントローラも，人手による設計より優れた設計を行なうことがで

M1 (既存手法)

デフォルトきると考えられる．

M2 (既存手法)

デフォルト

M3 (本手法)

本システムによる形態

ハンドコーディング
シミュレーションの学習結果
シミュレーションの学習結果

次に，状態空間が等しい M2 と M3 に対して，センサの配置の影響について検討する．M2 と M3 では同じ学習則を適用したにも関わらず，M3 のパフォーマンスが顕著に高い．このことから，身体形状が固定されたロボットであっても，センサ配置を変更することでパフォーマンスを改善できることを示唆している．

M1 のセンサ形態は，マイコンカーのデフォルトのものを用いた．また，M1 のコントローラは，付属のTable 2: 実機における既存手法との比較結果サンプルプログラムを改良したものを用いた．M2 のセンサ形態は，M1 と同様にデフォルトのものを用いた．M2 のコントローラは，設計実験によって得られた Q 値に基づいて行動を決定する．すなわち，センサが観測した状態に対して，最大の Q 値を持つ行動を選択する．ただし，本実験では Q 値をオンライン

マイコンカー

平均ラップ
タイム [秒]

平均滞在
ラップ数

M1
M2
M3

15.6
16.0
13.5

4.4
3.0
8.4

4.3 考察

ンサ形態を自動設計するシステムを構築した．本シス

ライントレースにおいて難易度が高いとされる直角コーナーの攻略を例として，M1, M2, M3 がどのようにセンサ配置を利用しているかを述べる．

M1 は直角コーナーの直前に存在するクロスラインを合図に用いる方法を採用している．すなわち，直角コーナーの直前のクロスラインを読み取ると，直角コーナー突破用のモードに移行し，直角コーナー専用の制御則を用いて直角コーナーをクリアする．このように，人手によるコントローラでは，「クロスラインの後には直角コーナーが存在する」というコースに関する設計者の知識を利用できるため，通常のカーブとは異なる制御則を使って直角コーナーを突破できる．
しかし，M3 はコースに関する設計者の知識を利用テムをライントレーサに対して適用し，得られた形態と人手による形態の学習結果の比較を行なった．この実験結果から，本手法で設計されたによるロボットは，物理世界を適切に観測することにより，人手による設計に比べて優れた学習能力を獲得できることが示せた．
すなわち，本システムによって，環境・形態・制御系の相互作用を効果的に利用できることがわかった．さらに，本システムによって得られたセンサ形態を実機に実装して，既存手法と比較した．その結果，本手法で設計されたロボットは，平均ラップタイムおよび頑健性の点で優れた行動を行なうことを示した．

謝辞

できない．そのため，直角コーナーを通常のカーブと本研究は独立行政法人情報通信研究機構の研究委託同じ制御則を用いてクリアしなければならない．M3「人間情報コミュニケーションの研究開発」により実では，直角コーナーにさしかかると Fig. 9 左図に示施したものである．

すようにセンサが反応する．これは左カーブと同じセンサ状態であるので，M3 は少し左に曲がる．ところ

参考文献

が，実際にはコースは直角であるため，Fig. 9 右図に示すようにコースから外れそうになる．ここで 4 番目のセンサがセンターラインを検出し，マイコンカーは大きく左折するため，直角コーナーをクリアすること[1] Jung, T., Dauscher, P. and Uthmann, T.: Evolution and Learning: Evolving Sensors in a Simple
MDP Environment, Adaptive Behavior , Vol. 11,
No. 3, pp. 159–177 (2003).

ができる．
一方，横一列に並んだセンサを持つ M2 は，直角コーナーでコースアウトをすることが多い．これは，M2[2] Lipson, H. and Pollack, J. B.: Automatic design and manufacture of robotic lifeforms, Na-のセンサが前後に分散していないため，コース上の前

ture, Vol. 406, No. 6799, pp. 974–978 (2000).

後関係を学習できなかったことによると考えられる．

[3] Pfeifer, R. and Scheier, C.: Understanding Intelligence, MIT Press, Cambridge, MA. (1999). (石0141420233

黒章夫, 小林宏, 細田耕監訳: 知の創成 – 身体性認
知科学への招待, 共立出版, (2001)).

[4] Sims, K.: Evolving 3D Morphology and Behavior
by Competition, Artificial Life IV: Proceedings ofthe Fourth International Workshop on the SynFigure 9: 直角コーナーにおける形態の利用

thesis and Simulation of Living Systems (Brooks,R. and Maes, P.(eds.)), Cambridge, MA., MITPress, pp. 28–39 (1994).

以上の定性的な比較と前節の定量的な比較から，本システムで設計されたロボットが，既存手法に比べて学習性能に優れることを，実機においても実証することができた．

5. おわりに本研究では，ロボットの学習能力に応じた情報獲得を行なわせるために，行動学習に基づいてロボットのセ[5] 細田耕: 形態が学習にもたらすもの，学習が形態にもたらすもの, 日本ロボット学会誌, Vol. 22, No. 2,pp. 186–189 (2004).