総論：特集
生成的システム

実環境における進化ロボティクスと対話的設計
片上 大 輔＊ 山 田 誠 二＊＊＊東京工業大学大学院総合理工学研究科 横浜市緑区長津田町 4259＊＊国立情報学研究所 東京都千代田区一ツ橋 2–1–2＊ Interdisciplinary Graduate School of Sience and Engineering Tokyo Institute of Technology, Nagatsuta-cho 4259, Midori-ku, Yokohama, Japan＊＊National Institute of Informatics, 2–1–2 Hitotsubashi, Chioda-ku, Tokyo,Japan＊E-mail: katagami@ntt.dis.titech.ac.jp

1.

はじめに

実環境における，状態（センサなどの知覚）から行為へのマッピングである行動を扱うロボットの学習や適応において，知能はロボットのおかれる環境の状態や複雑さ，ロボットの身体性に強く依存するため，ロボットの行動獲得における環境設計の重要性は様々な分野で示唆されてきた．
しかしながら，これらを考慮して効率よく妥当な制御器を構築するための方法論は未だ存在しないのが現状である．
このような問題に対して，強化学習や進化計算を用いてロボットに自律的に制御器を獲得させる研究が行われてきた．これらの手法の一つの目的は，制御器設計におけるトップダウンな設計手続きをなるべく排除することである．これは同時に身体性や環境との相互作用を制御器の構築に反映させる際に，設計者による不適切なバイアスを排除することにつながる．
この中でも，特に進化計算（Evolutionary Computation;EC）を用いてロボットを設計するアプローチは，進化ロボティクス（Evolutionary Robotics; ER）と呼ばれている．進化ロボティクスは，遺伝的アルゴリズム（GeneticAlgorithm; GA），遺伝的プログラミング（Genetic Programming; GP）などの進化計算手法を用いて，ロボットを設計するアプローチの総称であり，その有効性は多くの研究で確認されてきている1), 2) ．しかしながら，その一方で進化ロボティクスに関するいくつかの問題点や限界についても明らかにされてきた1), 3) ．
筆者らは，自律ロボットが人間とのインタラクションを通して，世界をどのように構築し行動を生成していくかといった過程に興味がある．この様なアプローチは，前述のバイアスの問題を意識せずに，人間の設計をシステムに組み込める点に特徴がある．本稿では，ロボットの設計論として，人間とロボット間のインタラクションの設計，特に人間からのインタラクションを明示的な教示として扱った対話的設計について議論する．ここでは，対話的設計のポイントとして，1）教示者の負荷の問題，2）教示者である人間と学習者であるロボットの認知のずれの問題について言及し，具体例を交えながら，対話的設計のあり方を考えていく．

計測と制御 第 44 巻 第 1 号 2005 年 1 月号

キーワード：ロボット学習（robot learning），進化計算（evolutionary computation），実環境（real environment），進化ロボティクス（evolutionaryrobotics），対話型進化計算（interactive evolutionary computation），対話型進化ロボティクス（interactive evolutionary robotics）
cJL 002/02/4202–0086 2002
SICE2.

進化ロボティクスとその問題

ER では，行動主体の身体性や環境とのインタラクションダイナミクスを設計者が意識しなくても制御器の設計に反映することができるという優れた特徴を持っている．ER
では，ロボットの制御器を設計の対象とする研究が多いが，その設計過程では制御器の詳細な仕様をトップダウンに決定するのではなく，評価関数 (もしくは適応度) の下で進化過程を通してボトムアップに設計する．このような間接的な設計手法により，高い創発性を期待しているところにこのアプローチの特徴がある．ER の主な研究としては，Koza
は，行動ベース移動ロボット6) の行動学習に GP を適用している7) ．また，GP で生成されたロボットプログラムの頑健性を検証した研究8) や，環境認識に適した行動を GA を使って学習する研究9) ，共進化によりサッカーロボットの行動を学習する研究10) など，さまざまな進化ロボティクスの研究が行なわれている．
これらの研究を通して，以下のような問題点が指摘されている．

1. ギャップ問題 (gap problem)：進化過程は通常膨大な計算時間を必要とするため，シミュレータを用いたオフライン進化を採用することが多い．しかし，進化は与えられた環境に過度な特化 (over-adapting) をする傾向があるため，シミュレータ上で獲得された最良個体を実機に実装しても，シミュレータ上と同様な行動が困難であるという問題．

2. ブートストラップ問題 (bootstrap problem)：複雑なタスクを実現する制御器を進化的に獲得しようとすると，初期世代に部分的にでもタスクを達成し，ある程度の評価値を獲得できる個体が発現する確率が極めて低くなるといった問題．
特に実環境においては，学習の収束に時間がかかり，報酬を得るまでの初期学習の立ち上がりに大きな時間コストがかかる．しかも 1 回の行動に必要な多くの時間は，ロボットの感覚，行動系の処理時間に費やされるので，高速に学習するためには，学習試行数の削減が必要である．また，実環境を十分な精度でシミュレートすることは困難であるた1

環境

GP-システム1.0
1.0

Step 3

IF_A

遺伝オペレータ

0.8
0.0

IF_B

Progノード使用率0.3(突然変異/交叉)

モータ
スピード

0.8

Step 2

移動ロボットStep 1

行動選択

集団(トーナメント選択)

P 個体

センサ値

0.3

IF_D

0.3

IF_C

IF_A

0.00.3

IF_B

IF_C
0.8

k 個体
0.3
ACT_B

図 1 オンライン進化アルゴリズム
め，オンラインで直接進化を行う，オンライン進化（注1）が0.00.0

ACT_C

ACT_A
ACT_A
ACT_C
ACT_C

図2

0.0

0.0

0.3

0.0
ACT_A

0.0
ACT_C

0.3

ACT_B

ACT_B

ロボットプログラムと使用率の偏り注目されるが，ER で用いている EC では，多数の個体を数

Step4 で用いられるオペレータには，交叉，突然変異，交百世代にわたり実行させ適応度を評価する必要があり，そ換などがあるが，ここでは，交叉 に注目する．一般的に，の高速化が求められる．実際には，その多大な実験コストが原因となって，シミュレーションによりオフライン進化

GP の遺伝子は木構造なので，交叉は，Step2 の選択 で選ばれた親の候補から 2 つの個体を選び，それらの遺伝子のを行うことが多い．

部分木を入れ換える操作となる．ここで，一般に交換され3.

る部分木の根ノード（交叉点と呼ばれる）は，ランダムに実環境での進化ロボティクスの適用

実環境におけるオンライン進化の適用は，前述のギャップ問題を考えなくてもよいという利点があるが，ブートス選ばれるが，本研究ではノードの使用率に基づき交叉点を決定する．
例えば，図 2 は，実環境において移動ロボットが箱押しトラップ問題をどう対処するかが大きな鍵となる．そこで，行動を学習する実験において獲得したロボットプログラム

EC 自体の性質と ER における環境とのバイアスに注目し（木構造）の例である．ここで，各個体の使用頻度の遺伝子てオンライン進化そのものを高速化することにより，実環中のノードの使用回数の初期世代からの累積をそのノード境での学習に応用した例を紹介する

12)．

この研究のポイントは，ER を GP で行なう場合に，GPにおけるノードの使用率に環境特有の偏りがあることに注
目し，使用頻度に依存した交叉点の設定方法を考えているの使用頻度とし，使用頻度をその木の最大使用頻度で割って正規化した値をノードの使用率とすると，このような偏りが生じやすい12) ．
ノード使用率によって交叉確率を変えるために，使用率点である．この手法を，GP を用いたロボットの行動学習の高いノードと低いノードで高い値をとる交叉確率関数 H1の枠組としてよく使われる下記の進化アルゴリズム 13)（図（図 3），使用率の高いノード同士の値が高い交叉確率関数1）に適用する．
Step1 初期集団の生成：初期の個体集団（P 個体）を生H2（図 4），使用率の低いノード同士の値が高い交叉確率ij関数 H3（図 5）の 3 つを用意した．ここで，図中の Hmnは個体 i，j のノード m，n が交叉の点となる交叉確率，Rimは個体 i のノード m の使用率である．この確率関数より交叉する 2 つのノードの使用率から交叉確率を変えている．

成する．

Step2

選択と適合度計算：個体集団からトーナメント選択により選ばれた k 個体について，現在のセンサ値を入力として個体を実行し，モータスピードの値を決定して結果をセンシングする．得られたセンサ値の系列から個体の適合度を計算し，適合度の上位 2 個体を親の候補とする．

このようなバイアスのかかった交叉確率による交叉により，オンライン進化において，ER の環境特性に基づいたEC 自体の高速化により従来法に比べて 1.4〜1.6 倍の高速化がはかられている．

GP を用いたオンライン進化の研究としては，移動ロボッ

Step3

終了条件が満たされれば，終了．

トが障害物回避を学習する研究がある13) ．この研究は，障Step4

GP オペレータの適用：親の候補に対して，遺伝害物回避といった簡単なタスクではあるが，実時間で学習オペレータ（交叉，突然変異）を適用して子をつくる．

Step5

得られた 2 つの子を個体集団の最も適合度の悪い 2 個体と入れ換え，Step2 へ.
（注1）ここでは，訓練過程と評価過程を区別せず，環境とのインタラクションを通して試行錯誤的に進化・学習し続けることをオンライン進化・学習と呼ぶ

2が行なえることを示した．しかし，GP 自体が高速化されているのではなく，より難しいタスクへの適用に問題がある．同様に Mondada ら14) も実ロボットを用いて進化学習を行わせたが，その際数十時間もかかったことが報告されている．
一方，オフライン進化では，近藤ら11) が，ニューラルネッ
トを用いた行動選択を行う進化ロボティクスで，シナプスの計測と制御 第 44 巻 第 1 号 2005 年 1 月号

記憶にある過去の解候補との比較を強いられることになるn 2(Rmi −Rj )

Hijmn
10.8
0.6
0.4
0.2
001
0.8
0.6
0.4
n0.2
Rj1 00.2 0.4

0.6 0.8mRi

図 3 交叉確率関数 H110.8
0.60.40.200ので，心理的負担が大きい．
一方，対話型手法のタスクの場合，人間が適合関数となるため，最適化問題とは異なり対極的最適点というものが0.2 0.4

0.6 0.8
Rmi

図410.80.60.4
n0.2
Rj1 0

交叉確率関数 H2n0.5(2−Rmi −Rj )

Hijmn
10.8
0.6
0.4
0.2
00n0.5(Rmi +Rj )Hijmn

ない．そのため，少ない世代数でも最適領域に早く到達できれば，実用上十分な場合が多いことが指摘されている17) ．

5.

進化ロボティクスと対話的設計

ER において，対話的手法によりによりルールを獲得することで進化を促進させることができると考えられる．筆0.2 0.4
Rmi

図5

0.6 0.8

1 010.8
0.60.4n0.2
Rj

交叉確率関数 H3

者らは，この枠組みによるアプローチが未知な環境に対する学習，特に試行錯誤の初期段階の学習に効果があると考える．また，人間とロボットのインタラクションにより自律ロボットだけでは解けないような局所解に対して解を得るといった効果も期待できる．

重みをコーディングするのではなく，どのような学習をどの

この代表的な例として，Lund らは，ロボットの制御器のタイミングで行うかを記述するパラメータをコーディング

構築に対話型 GA を適用し，LEGO ロボットの制御器を構することにより，進化ロボティクスにおけるシミュレーショ築する進化ロボティクスアプローチを提案した18) ．ロボッンと実世界のギャップを解消する方法を提案している．最トコントローラとしてはニューラルネットワークを使用し，終的に進化により得られた結果を実機に実装するアプロー

対話型 GA と一種の強化学習を融合することで構築にかかチをとっている．

る時間を劇的に減らしている．特に興味深いのは，プログ

4.

ラムの知識を持たない子供達による実験である．画面に表教示学習と対話型進化計算示される 9 つのロボットの動作に対する子供達の嗜好によ前章のように，これまで多くのアプローチによる試みがる評価・選択によってロボットは制御器を構築していく．こ行われてきた．しかし，いずれの研究もオンライン進化の実れにより，障害物回避行動や壁つたい行動や，それらの複現という困難な課題に対して，様々な視点からのアプロー合行動など簡単に（数分で）獲得をすることができている．

チを行っているが，学習収束時間やタスクの複雑性や達成

これらは，対話型進化手法の主観的評価をうまく利用して度など，これで十分であるとは言えない．

いるといえる．

そのなかでも，その対策へのアプローチまたは，今後の5.1 教示者の負荷研究の発展として人間を含む実環境を対象とした研究の必一般に，対話型学習の場合，教示を行えば行うほどいい要性・重要性が指摘されている4), 5) ．これまで，人間要素パフォーマンスが得られるが，教示コストは低ければ低いをシステムに積極的に取り入れる試みは，多くの研究でなほどよいというトレードオフの関係になっていることは明されてきた．

らかである．この教示者の負担をどれだけ考慮できるかが，人間の主観的評価を取り入れるといえば，対話型進化計算法 (Interactive Evolutionary Computation; IEC) が有対話型設計の大きなポイントになる．

名である．人間を評価系に組み込むというアプローチで進Crandall らは，ヒューマンロボットシステムの設計を目的としてインタラクション効率（interaction eﬃciency）の化的に探索を行う手法であり，今までにデザインや音楽，医理論的なアプローチを行った16) ．この研究の興味ある点は，療など様々な分野で研究が行われてきた．IEC 研究の詳し

ユーザの認知的負荷を考慮していることである．彼らはユー

い説明や研究動向は17) を参照されたい．

ザの認知的負荷を計測するために，ロボットを操作するメ

対話型手法の最大の問題は，人間の疲労をどう軽減する

インのタスクと平行して簡単な数値計算を行わせてその効のかであり，これが実用上の大きな問題になっている．人果（消費時間，解答数，正解率）を調べ，ユーザのみが操間が疲れを知らないコンピュータと協調して多くの評価を作する direct control が自律ロボットとの shared-control

行うには限界がある．この結果，評価の際の肉体的およびよりも，認知的負荷が高い事を示している．

心理的疲労軽減のため，評価数を，通常のオフライン探索

Crandall らの例のように，対話型学習を実ロボット環境に比較して非常に少なくせざるを得ないことがあり，学習に適用する場合，ロボットは教示指令が無い場合は自律的の収束悪化につながっている．さらに，対話型手法の出力に学習を行い，教示者が任意のタイミングで用意した入力が音や動画像，ロボットの行動などの場合，解候補を時系装置から直感的にロボットを操作をした場合には，自動的列提示せざるを得ないことである．評価する人間にとって，にルールが作成される方法が考えられる．この方法により，計測と制御 第 44 巻 第 1 号 2005 年 1 月号

3

教示者の負荷が軽減される．例えば，これらは入力装置にジョイスティックを用いてロボットの直接操作を行い，その操作とその時の環境情報からルールの自動生成を行うことで教示とする．この枠組みにおいては，多くの個体を比較評価，または評価値の入力を行う必要はなく，肉体的および心理的疲労が大幅に軽減されることが期待される．
堀口らは，この操作型のシステムにより，人間とロボットのインタラクションの設計として相互主導型インタラクションの概念を用い，力覚フィードバックを利用した移動ロボットの自動化プロセスと人間の操作の協調行動を実現15)している．

図6

筆者らは，ロボットが動作する際に人間から適切な行為ロボットと同じ視点としての教示情報を受け取って，タスクを解決する状態認
識・行為ルールの獲得を実現する操作型の手法を提案し19) ，このような枠組みを対話型進化ロボティクスと呼んでいる．

5.2 教示者とロボットとの認知のずれ
ロボットの認識（状態空間）と設計者の認識との間には一般に大きな差異がある．例えば実環境上でロボットを動かした場合，センサ情報の獲得によって形成されるロボットの内部モデルは，その状況および観測の履歴に依存して大きく異なったものとなってしまう．その結果，ロボットはあらかじめ設計者が設計した行動規則に従うものの，実際には設計者の意図する行動を生成しないことがある．こ

図 7 教師の視点の問題は，学習ロボットと教示者の間の認識のずれにも当てはまる．

りもロボットの環境認識能力とのギャップが少なく，そのた三島らは，学習ロボットと教示者の間の内部状態の違いめより適切なクラシファイアが学習できたことによる．一を Cross Perceptual Aliasing20) と呼び，これよって起こ方，人間にとっては教師の視点のほうが，自然に環境を認る学習者の状態空間に一致する教示データを見つけ，強化識できるために認知的負荷が少ないため，環境によって視学習によってタスクをうまく達成するためにクラスタリン点を自由に変えられる仕組みが必要である．

グに基づいてその状態空間をうまく修正している．

6.

筆者らは，教示システムの設計問題として教示者とロボッ

おわりにトの認知のずれ問題をとりあげた19) ．この研究では，クラ誌面の都合により，他の興味ある例を紹介することがでシファイアシステムにより行動学習を行う移動ロボットにきなかったが，特にヒューマン-コンピュータインタラクショ

対し，次にとるべき行為を人間がジョイスティックで直接ン (HCI) の分野では，多くの研究がなされており，重要な教示することにより，一般には非常に効率の悪い進化ロボ知見が得られるだろう．近年では，ヒューマン-エージェンティクスによる学習の高速化を実現している．ロボットは，トインタラクションの分野で，人間とエージェント間のイン教師の教示をクラシファイア（またはルール）として取りタラクション特に相互適応について研究が行われている21) ．

込み，学習に役立てる．この場合のロボットのタスクは，障害物回避行動を含む自律移動である．

• 学習者の視点：ロボットの得るセンサ情報と同じもの

対話型設計は，実環境で動くシステムには非常に相性がいいが，人間要素を含むため，計算機上とは違い幾つかの扱いにくい問題点が存在する．それに対し，現状では，明を人間の教師も見て，環境の情報を獲得し，教示を行確な指針がでているわけではなく，今後の研究の進展が期う．ロボットのセンサ情報を表示するインタフェース

待される分野である．本稿であげた対話型設計のアプロー（図 7）を通して教示がなされる．

チが新たな議論の一助となれば幸いである．

• 教師の視点：人間は俯瞰的に環境を見て，環境の情報を獲得する．図 6 のような環境全体を見渡せる視点か（2003 年 2 月 28 日受付）
参考 文

献ら教示がなされる．
比較実験の結果，学習者の視点による教示の方が，学習効率がよかった．これは，学習者の視点の方が教師の視点よ

41） P. J. Meyer, P. Husbands and I. Harvey: EvolutionaryRobotics: A Survey of Applications and Problems, Proc. ofthe 1st European Workshop Evolutionary Robotics, pp.1-

計測と制御 第 44 巻 第 1 号 2005 年 1 月号

21, 1998.
2） P. Nordin and W. Banzhaf: Genetic Programming Controlling a Miniature Robot, Working Notes for the AAAI
Symposium on Genetic Programming, pp.61-67, 1995.
3） 石黒： 進化ロボティクス−その意義，そして今後−, 第 13 回
自律分散システム・シンポジウム, pp.289-294, 2001.
4） 浅田：実環境におけるロボットの学習・進化的手法の適用と課
題，計測自動制御学会誌, Vol.38, No.10, pp.650–653, 1999.
5） 久保田：進化的ロボティクスと適応，システム制御情報学会誌,Vol.47, No.12, pp.565–570, 2003.
6） R. Brooks: A robust layered control system for a mobilerobot, IEEE Journal of Robotics and Automation, Vol.RA2, No.1, pp.14–23, 1986.
7） J. R. Koza and J. P. Rice:
Automatic Programming of Robots using Genetic Programming, Proc. ofTenth National Conference on Artificial Intelligence, AAAI
Press/MIT Press, pp.194–201, 1992.
8） C. W. Reynolds: Evolution of Obstacle Avoidance Behavior: Using Noise to Promote Robust Solutions, Advances inGenetic Programming, pp. 221–241, MIT Press, 1994.
9） 山田：行為に基づく環境モデリングのための移動ロボットの進化的行動獲得，人工知能学会誌，14 巻，5 号，pp. 870–878, 1999.
10） E. Uchibe, M. Nakamura and M. Asada: Co-evolution
for Cooperative Behavior Acquisition in a Multiple Mobile
Robot Environment, IEEE/RSJ International Conferenceon Intelligent Robots and Systems, Vol.1, pp.425–430, 1999.
11） 近藤，石黒，内川，Eggenberger：進化ロボティクスにおける制御器の頑健性の実現：動的再編成機構を有する神経回路モデルの提案，計測自動制御学会論文集, Vol.35, No.11, pp. 1407–1414,
1999.
12） 片上，山田：ノード使用頻度に依存した交叉による進化ロボティ
クスの高速化，人工知能学会誌，Vol.16, No.4，pp.392-399,
2001.
13） P. Nordin and W. Banzhaf: An on-line method to evolve
behavior and to control a miniature robot in real timewith genetic programming, Adaptive Behavior , Vol.5, No.2,
pp. 107–140, 1996.
14） F. Mondada and D. Floreano: Evolution and mobile autonomous robotics, In Proc. of the Evolutionary Engineering Approach, pp.221-249, 1995.
15） 堀口, 椹木: 遠隔操作環境における共有自律の実現を指向した
人間―ロボット間の相互主導型インタラクションの設計, 計測
自動制御学会論文誌, Vol.38, No.12, pp.1097-1106, 2002.
16） J. W. Crandall and M. A. Goodrich: Characterizing Efficiency of Human Robot Interaction: A Case Studyof Shared-Control Teleoperation, IEEE/RSJ International
Conference on Intelligent Robots and Systems, pp.12901295, 2002.
17） 高木, 畝見, 寺野：対話型進化計算法の研究動向, 人工知能学会
誌, Vol.13, No.5, pp.692-703, 1998.
18） H. H. Lund, O. Miglino, L. Pagliarini, A. Billard and A.
Ijspeert: Evolutionary Robotics - A Children’s Game, IEEE
5th International Conference on Evolutionary Computation, IEEE press, 1998.
19） 片上，山田： 対話的進化ロボティクスの観察に基づく教示の設計，システム制御情報学会誌，Vol.16 No.6，pp.279-286, 2003.
20） C. Mishima and M. Asada: Active Learning from Cross Perceptual Aliasing Caused by Direct Teaching IEEE/RSJ International Conference on Intelligent Robots and Systems,
pp.1420–1425, 1999.
21） 山田，角所，新田ほか：特集 「HAI：ヒューマンエージェントインタラクション」にあたって, 人工知能学会誌, Vol.17, No.6,pp.657–700, 2002.

計測と制御 第 44 巻 第 1 号 2005 年 1 月号

［著者 紹 介］

かたがみ

だいすけ

片上大輔君（正会員）

1973 年 9 月 3 日生．1996 年，電気通信大学
電気通信学部機械制御工学科卒業．2002 年東京工業大学大学院博士課程了．同年，東京工業大学大学院総合理工学研究科助手，現在に至る．博士（工学）1999 年電気学会電子・情報・システム部門
大会優秀論文発表賞受賞．知的ロボット，ヒューマンエージェントインタラクションなどの研究に従事．人工知能学会，日本ロボット学会，システム制御情報学会，IEEE 各会員．
やまだせいじ山田誠二君（正会員）

1960 年 10 月 11 日生．1984 年大阪大学基礎工学部卒業．1989 年同大学院博士課程修了．博士（工学）．同年大阪大学基礎工学部助手．1991
年同大学産業科学研究所講師．1996 年東京工業大学大学院総合理工学研究科助教授．2002 年国立情報学研究所教授， 現在に至る．工学博士．人工知能，特に，知的 Web，ヒューマンエージェン
トインタラクションに興味をもつ．情報処理学会，
日本ロボット学会，電子情報通信学会，AAAI, IEEE, ACM 各会員．

5