279

システム制御情報学会論文誌，Vol. 16, No. 6, pp. 279–286, 2003

論文

対話的進化ロボティクスの観測に基づく教示の設計*
片上大輔 † ・山田誠二 ‡Interactive Evolutionary Computation for Real Robot fromDiﬀerent Viewpoints of Observation*
Daisuke Katagami† and Seiji Yamada‡In this paper, we describe a fast learning method for a mobile robot which acquires autonomous
behaviors from interaction between an operator and a robot. We develop a behavior learning method
ICS (Interactive Classifier System) using interactive evolutionary computation regard for the teaching
cost and a mobile robot is able to quickly learn rules so that an operator can directly teach a physicalrobot. Also the ICS is a novel evolutionary robotics approach using an adaptive classifier system. We
classify teaching methods as internal observation (Learner View) and external one (Teacher View)
from viewpoints of obsevation, and investigate relationship between observation methods and theresults. We have two experiments based on our teaching methods on a real world.

1.

はじめに

きた．しかし，実環境問題に適用するにあたってその実行速度が問題となっている．

人間が活動する環境内において行動する自律ロボット

そこで，環境に存在する人間とのインタラクションをでは，未知環境における行動，予期しない人間からのイ

利用するアプローチが行われてきている．特に，アプリ

ンタラクションなど，行動に必要な知識を事前に用意しオリな知識を持たないロボットや初期段階の試行錯誤のておくことが難しい状況でタスクをこなすことが要求さロボットにおいては，人間からの教示は非常に有効な自れる．そこで，自律行動の獲得のための学習や環境への律行動の獲得手法であるといえる．しかし，ある程度自適用が必要となってくる．

律性を持ったロボットにおいては，人間からの教示に完近年においては，学習や適応の枠組みとして強化学習

全に従う必要はない．教示が必要でない場合に関しては，

や進化計算手法を用いてロボットに自律的に制御器を獲

人間に負担をかけることなく，人間とのインタラクショ

得させる研究が注目を集めてきた．これらの手法の目的

ンにより蓄えられた教示情報を元にして自律的に行動すの一つとしては，制御器設計における人間の介在をできるだけ排除することがあげられる．このことは同時に，クションを通じて，ロボットの自律性を確立する手法が身体性や環境との相互作用ダイナミクスを制御器の構築必要であるといえる．

に反映させる際に設計者による不適切・不必要なバイア

麻生らは，人間と音声会話によるコミュニケーション

スを排除することにつながるといえる．そのため，従来を行う事情通ロボットによって，未知環境の地図情報をはできる限り知識を強化学習の枠組みにいれずにエー構築する枠組み [1] を提案しているが，人間とロボット

ジェントに試行錯誤させて学習することが前提とされてとのインタラクションによりロボットの行動を獲得して∗原稿受付 2002 年 10 月 17 日†
東 京 工 業 大 学 大 学 院るべきである．このように，人間とロボットがインタラはいない．石黒らは，強化学習により移動ロボットの状

総 合 理 工 学 研 究 科

態空間の構築 [2] を行っているが，始めに人間が教示しCISS,IGSSE,Tokyo Institute of Technology; 4259
Nagatsuta, Midori-ku, Yokohama 226-8502, JAPAN‡
国立情報学研究所 National Institute of Informatics; National Center of Sciences, 2-1-2 Hitotsubashi, Chiyodaku, Tokyo 101-8430, JAPANKey Words : human-robot interaction, online learning,
evolutionary robotics.

た行動を見本にして学習を行うが，その後はロボットが内部状態の構築を行うだけで，人間とのインタラクションは行われない．堀口らは，人間とロボットのインタラ
クションの設計として相互主導型インタラクションの概念を用い，力覚フィードバックを利用した移動ロボット

–1–

280

システム制御情報学会論文誌

第 16 巻

第6号(2003)の自動化プロセスと人間の操作の協調行動を実現 [4] しらは，ロボットの視点から眺められた世界がいかにロているが，その学習結果をロボットの行動獲得には反映

ボットによって解釈されるかが既知ではない．なぜなら，してはいない．稲邑らは，ユーザとの対話に基づいてロボットが身体性を通して世界と相互作用しているとき，

Bayesian Network を用いて確率的にロボットの行動獲得 [5] を行っているが，進化計算手法により段階的に行

それはロボットの身体性・環境・タスクに依存している

動獲得を行う我々の手法と方法的に大きく異なる．

を構築することは可能になるがその効率性に問題が残る．

からである．よって教示者の負荷が少ない教示システム

これらの研究に対して我々は，ロボットが動作する際

つまり，このような問題では，外的な観測者の視点に基に人間から適切な行為としての教示情報を受け取って，づく知識を直接ロボットに教示することは困難である．

タスクを解決しうる状態認識・行為ルールの獲得を実現

また，局所情報しか知らないロボットが特定の大域目標する手法を提案した．このような枠組みを Interactiveの実現に対してどのように自己の行動を修正したらよい

Evolutionary Robotics (IER) とよび，今までにいくつのかを知ることは一般に困難である．しかも，ロボットかの研究を行ってきた [6]．ここで，教示の効果は一定でには目標が実現していることさえ明確に認識できないかはなく，教示者の教示の仕方や環境によって教示の効果もしれない．目標の実現を認識できるのは，システム内が大きく変わってくることがわかってきた．

部のロボットではなく，システムの外部から全体を眺め

本論文では，IER の枠組みにおいて，外部からロボッることのできる観測者である．一方システム内部の情報

トを眺める人間の視点と内部情報をもとに学習するロを知らずには整合性のあるルールを獲得することは困難

ボットの視点とのずれが生じることによって，教示学習である．結局，観測者の認知とロボットのそれにはずれの効果に大きな差が発生することを実環境におけるオンがあるためそれを教示によってうまく伝えるのは難しい

ライン学習により実験的に検証する．

問題であるといえる．このような問題が教示手法にとっ

2.

て重要となってくると考えられる．

教示学習における観測の違い

3.

一般的な知識を表現する上で行われる知識の抽象化に

観測者の認知に基づく教示法

おいては，ロボットの状況認識の方法およびそれに基づ

前述のような認識のずれの問題はロボットの身体性のく行動方策の表現方法が必要となるが，これらは身体性問題などで多く取り上げられてきたが，教示を行う際にを持つロボットにとっては事前に明らかではなく，これどのような問題を引き起こすのかについての報告につを事前に設計する場合，設計の負荷が大きいことと，扱いてはあまり行われてこなかった．本研究では教示を行う対象を制限をしてしまうといった問題が生じる．ここう際に，その認識のずれがどのような影響を与えるので，身体性とは「環境や自身の内部状態を感知できる感かについて検証するために，簡単な設定を用意した．本覚能力，環境に働きかける多様な運動能力，それらを結研究では，システム外部から全体を眺めることのでき

ぶ情報処理能力が密に結合しさらに経験を通じて学習する観測者の認知を用いて教示を行う方法 (Fig.1) を外的る機能」とする．そこでヒューマン・ロボットインタラ

観測法とよぶ．逆にシステム内部から状況を判断するロ

クションを通して学習を行う教示学習を行うことになる．

ボットの認知を用いて教示を行う方法 (Fig.2) を内的観測法とよぶ．

そこでは，ロボットが実際に環境と相互作用を行いながらタスクを実行する過程で，ロボット自身は自律的にTeacherstate-action からなるルールを獲得し，教示者はその実

Observation

Learner

現の上で必要となる行為，すなわち各時点でのロボットの正しい動作をロボットに与えるという方法が考えられる．このようなアプローチにおいては，教示者は自らのOperation

外的な視点とロボットの視点との違いについては意識す
ることなく，ロボットの行動に対して外部の視点からの正しい行為を与えるのみによって，ロボットに作業を教示することが可能である．つまり，ロボットが行う認識・

Fig. 1

行為決定が教示者の行為の情報から自らの視点に基づく

External observation

状況認識に変換することによって，教示者・ロボット間ロボットの認識と外的観測者による認識との間にはの違いを吸収しているといえる．これによって，教示情

一般に大きな差異がある．例えば実環境上でロボットを報を少なくしていると共に，適した状況認識・行為決定

動かした場合，センサ情報の獲得によって形成されるロを行うことができ，事前にロボットの身体性に依存したボットの内部モデルは，その状況および観測の履歴に依設計を行うことが困難である場合にも負荷の少ない教示

存して大きく異なったものとなってしまう．その結果，を行うシステムを構築することができる．

ロボットはあらかじめ設計者が設計した行動規則に従う

ところが，外部からロボットを眺める教示者の視点かものの，状況の変化に対応して設計者の意図する行動を

–2–

281

片上・山田：対話的進化ロボティクスの観測に基づく教示の設計

評価を逐次行うことで学習を進めて行くため，システム

Teacherの内部に人間の評価を取り入れているにもかかわらずそ

Learner

Observationの観測手法は外的でありその評価能力を生かしきれていないともいえる．
本研究では，外的観測法と内的観測法を用いた教示にOperation

Sensor Information

基づく対話的計算法により進化ロボティクスにおけるオンライン学習を行いその違いを検証する．我々は，この対話的計算法による進化ロボティクスを実現するために，

Fig. 2

対話的手法に基づいたロボット学習システム，対話的ク

Internal observation

ラシファイアシステム (ICS) を構築した．Fig.5 に ICS

生成しないことがある．これは，外的観測者 (ここではが想定する教示の環境の例を示す．ここでは，ロボット

設計者) の想定するロボットの環境認識とロボットの実

は行動ごとにセンサ情報をシステムに出力し，教示者は際の認識像が異なっているために生じるものである．さそのセンサ情報やロボットを直接観察しながらジョイス

らにその環境が複雑で，外的観測が困難であればあるほ

ティックを用いて，ロボットを直接操作し，タスクを達

どそのずれは大きくなることになり重要な問題となる．

成することで教示を行うものとする．

特に教示を行う場合はこのようなギャップは重要である．

Operator

Actual Environment

例えば，Fig.3 のようにロボットの状況認識の精度が悪い場合，教示者が行為 a5 を教示した時点でロボットにMonitorは行為 a5 を行う条件部の認識，すなわち内部状態の分割が行われていないためにロボットには教示情報がうまく

Robot

Joystick
SensorInformation

Teaching

伝わらず，行為 a5 の教示はできない．また逆に，Fig.4のように教示者側が環境における変化を認識していない

ICS

場合，教示者の内部状態の中では行為 a5 というものはInteractive Classifire System

Action存在しない．よって，ロボット側が点線で示した内部状態の分割が可能であったとしても，教示がなされないた

Fig. 5Teaching environment

めに教示による学習は出来ないこととなる．このような，認識のずれが環境に多く存在する問題下において，いわ4.

ゆる教示学習はうまくいかないといえる．
Teacher

律的な学習に加え教示による学習も行うことができるロ

teaching

a5
a1

ICS は学習分類子システム (Learning Classifier System: LCS) に IEC の対話機能を組み込むことにより，自Learnera4

a3

対話的クラシファイアシステム

a1

a2

?

a4

a4

?

ボット学習モデルである．学習アルゴリズムである LCS

a3には Wilson が提案した XCS[7] を使用している．XCS

a2

internal state

は ZCS[8] を改良したもので，精度 (accuracy) とよばれinternal state

るパラメータを追加したものである．クラシファイアはFig. 3

When robot don’t perceive the diﬀerence of states
Teacher#(don’t care symbol) を条件部に含むことによって一般化を行うことができるが，Holland のクラシファイアシ
ステムや ZCS はそれを効果的に行うことができなかっ

Learner

た．これは，クラシファイアシステム自体が一般化を適
teaching
a1

a4
a2
internal state

a3

?
a1

a4

切に進めるためのメカニズムを備えていなかったことにa3

起因しており，過度に一般化 (overgeneral) されたクラa2

シファイアによってシステムの性能が悪化するという現internal state

象が報告されてきた [9]．XCS では特に，過度に一般化
Fig. 4

When teacher don’t perceive the diﬀerence ofstatesしたクラシファイアを抑制するために，クラシファイア

三島，浅田らは，この違いを Cross Perceptual Alias-

定している．この精度はクラシファイアを実行した結果

ing[3] とよび学習者と教示者の間の内部状態の違いを問受け取った報酬とその予測値との誤差により計算され，題にしている．従来の教示における学習がうまくいかな

これによりルールを過度に一般化せずに適切に一般化でかったのは，この認識のずれが問題であったためであり，きることが報告されている [7]．また，Booker によって従来の対話的進化計算においては，提示された解候補の提案された遺伝的アルゴリズムの戦略の一つである制限の有効性を，従来の強度だけではなく精度によっても決

–3–

282

システム制御情報学会論文誌

第 16 巻ぐに報酬 rteach が与えられる．at の入力が無い場

robot

monitorsensorinformation"left"

合も報酬 rimm が環境から返される（返されない場

ICS
SPC

合もある）．

DC
01【RC】 Reinforcement Component は，クラシファ

[P]
p
43
32
14
27
18
24

#011:01
11##:00#0##:11001#:01#0#1:11
1#01:10

e
.01
.13
.05
.24
.02
.17

F
99
9
52
3
92
15

Match Set

イアシステムにおける強化学習部である．前のステップのクラシファイアのパラメータを更新することで学習をPrediction Array

行う．教示者の操作がないときは，ロボットはそれまで

Action Set[M]#011:01#0##:11001#:01#0#1:11

RGC

43
14
27
18

.01 99.05 52.24 3.02 92

nil 42.5 nil 16.6

#011:01
001#:01に作成されたルールから自律的に行動を行うことがで

43 .01 99
27 .24 3

きる．

max
discount

GA
RC

Fig. 6(2003)

は効果器に送られ，at の入力があった場合は，すEnvironment
operator
joystick

第6号+【DC】 Display Component は，SPC により処理さ

delay=1

れたデータの表示を受け持つ．CCD カメラの画像処理

Previous Action Set[A] -1には Video4Linux の API と Imlib を用いている．開発したインタフェイスを Fig.7 に示す．

Overview of interactive classiﬁer system

交配 (restricted mating) の導入により，探索を安全かつ効率良く行うことができる．構築したシステムの概要図
を Fig.6 に示す．
本研究で開発したシステムは，操作者の教示情報をもとにクラシファイアを作成するルール生成部 (RGC)，ロ
ボットに装備した近接センサと CCD カメラの画像情報を処理するセンサ処理部 (SPC)，GUI インタフェース等の表示部 (DC)，学習を行う強化学習部 (RC) からなり，
すべて Linux 上で開発されている．C 言語および GTK+で記述されている．以下，各モジュールを説明する．
【RGC】 Rule Generation Component は，教示によるルールの作成を行う．教示者はロボットをインタ

Fig. 7User interface

フェースに表示される情報を見ながら，ジョイスティッ
クを用いて操作し，そこでの操作履歴とその時のロボッ【SPC】 Sensor Processing Component は，ロボッ

トのセンサ情報をセンサ処理部（SPC）が受け取り，そトの各種センサの処理および教示情報の処理を行う．処

れより RGC が新しくルールを作成しルールリストに加理されたデータは DC および RGC に送られ表示とルー

える．ルールの作成手続きは，主に XCS[7] を基本に教ルの作成を行う．

示情報からルールを作成できるように改良した．

(1) システムはロボットのセンサ情報 X と教示情報 at
を SPC から受け取る．
(2) 集団 [P] から X にマッチしたクラシファイアがマッ
チセット [M] に移され，システムは [M] で表されたおのおのの行為 ai を支持するクラシファイアのPrediction 値を Fitness 値で正規化して P (ai ) を作成する．P (ai ) の値は Prediction Array に置か

5.

実験

5.1

実験 1：光源到達・障害物なし

外的観測法と内的観測法を用いた教示による効果の違いを調べるために，オンライン実ロボットの比較実験を行った．Fig.8 にその環境を示す．

れ，行為が選択される．行為選択は，決定論的行
為選択もしくは，ルーレットホイール選択により行われる．

(3) 行為選択により選ばれた行為 aj と教示により得られた行為 at を比較し，aj = at ならば，[M] の中で行動部に aj を持つルールの行動部を at に書き換
える．aj = at ならば，変更はしない．
(4) 選ばれた行為 aj を支持する [M] の中のクラシファ
イアからなる行動セット [A] を作成する．行為 aj

Fig. 8–4–

Experimental environment片上・山田：対話的進化ロボティクスの観測に基づく教示の設計
2283

認知におけるセンサの認識のずれが生じる，または，知

3

1

4

0

覚しているが意識しないような小さな障害物を見落とす

5

ことで学習が収束しないことがあるかもしれない．本研DC motors
IR proximity sensors
7

究では，この外的観測法を表現するために，環境全体を見渡せるカメラを設置し，教示者はそのカメラの情報を6

みながら教示を行う．インタフェイスに表示されるカメ
Fig. 9ラの情報を Fig.10 に示す．

A mobile robot: Khepera

移動ロボットとして，Khepera を用いる．Khepera は，
直径 55[mm]，高さ 32[mm]，重さ 70[g] で，モトローラ

68331，RAM 256[Kbyte]，ROM 512[Kbyte] を搭載している．また，DC モータ（ロボットの移動 1[s] あたり
8[mm]）を二つ，赤外線近接センサと光センサが一体になったものを Fig.9 の右図の位置に八つ装備している．このセンサの値は，0〜1023 である．また，ロボットは無線タレットを装備しており，システムとの無線による通信が可能である．また，ジョイスティックには SONY 社
製アナログコントローラ DUALSHOCK を用いている．
タスクは，白いプラスチック版に囲まれた領域のなか

Fig. 10External observation settings

内的観測を行う場合は，ロボットの知覚をそのまま観に光源を置き，任意の初期位置からその光源にたどり測者が知覚することができるため，教示から素直に学習

着くまでのステップ数を最小にすることである．外的が進むといえるが，環境全体を見渡せることができない．

観測法 (ここでは，Teacher View とよぶ) と内的観測法

この内的観測法を表現するために，ロボットのセンサ値(Learner View とよぶ) を用いた教示による方法と，従を表示する GUI を用いる．センサ値を数値だけで見て来法である単純にクラシファイアシステムにより学習すも直感的に分かりにくいため，同時にグラフで表現できる方法 (Auto) と比較した．

るようにした．教示者はこれを見ながら教示を行う．イ

一つのクラシファイアは条件部と行動部からなる 20
ビットの文字列で表示される．条件部は {0,1,#} から，

ンタフェイスに表示されるセンサ情報を Fig.11 に示す．

「#」は don’t
行動部は {0,1} からなるビット列で表され，care シンボルとよばれ，ルールの一般化を行うのに用いられる．例えば#000#100000###100#:01 で表されるクラシファイアは，条件部が左の 18 ビットの文字列で表されている．最初の 8 ビットは，移動ロボット

Khepera の回りに装備された赤外線近接センサの反応(0〜255) を経験的に閾値で 2 値化した値とし，また光センサの反応を同様に 2 値化したものを，次の 8 ビットとする．さらに，環境の知覚騙し問題に対応するために 1
ステップ前のロボットの行為をその次の 2 ビットに表現している．行動部は右の 2 ビットの文字列で「11」が前「10」が右旋回「00」が後進を表して進，「01」が左旋回，Fig. 11

Internal observation settings

ロボットが 40 ステップを移動するか，もしくは光源いる．
適合度関数 F は以下のように定義した．各光センサのにたどり着くかを 1 試行として，教示として 5 試行ラン

値 lighti の合計値を正規化して，シグモイド関数を用い

ダムな初期位置から始める．さらに検証として獲得された値を適合度 F とした．Payment Range は係数であり，たルールを用いて自律行動によりあらかじめ決められた

ここでは XCS の文献 [7] の値と同じ値を用いた．

5ヶ所の初期位置からそれぞれ 1 試行ずつ評価をを行う．
この手続きを 7 回，合計で 35 試行の学習と 35 回の検証を行った．Table 1 に実験のパラメータを示す．

u=

7

i=0

lightiP aymentRange,
lightMAX × 8

F=1
1 + exp(−u)

5.2

実験 1 結果
実験 1 において，5ヶ所の初期位置から光源にたどり着いた回数 (Fig.12) を求めた．教示なしの場合（Auto）
は 35 問題までにほとんど Goal に到達するような行動を

外的観測を行う場合は，教示者が環境全体を見渡せることで，大域目標の実現を簡単なものにするだろう．一方，ロボットには知覚できるが観測者には知覚できない

–5–

284

システム制御情報学会論文誌

第 16 巻

第6号(2003)

6

Experimental Parameters

Parameters
number of problems in one experimentFrequency to Light Source

Table 1Value
35

number of expriments

1

maximum size of the population

300

probability to do crossover

0.8

probability of mutating one bit

0.04

5
4
3
2
1
0

獲得できなかったが，本手法において 15 問題でいくつ

Teacher View
Learner View

05Fig. 13

10

15

20
25
Problems

30

35

40

Frequency to Light Source

か Goal にたどり着くような行動を獲得し始め，35 問題
までに 8 割から 10 割の確率で Goal にたどり着く行動をサの情報だけで有効なルールを獲得できるため，教示者

学習することができた．かかった学習時間は，1 問題のとロボットの認識のずれが少なく，二つの教示法にあま

教示に約 1 分，35 問題行うのに 4，50 分で行うことがでり差はでなかった．しかし実験 2 の場合，全体を見渡せ

きる．Goal 到達回数をみると TV，LV 共にあまり差はた外的観測の方が一見教示がうまく進む気がするが，教なく，環境の認識にずれが少ない場合観測の仕方によっ示者がロボットを外から観察して予想したロボットの状て学習効果にほとんど差は見られなかった．

態と実際のロボットの状態との間にずれがあるため，教Frequency to Light Source

6

示者の教示をうまく学習していない．実際にはロボット

Teacher View
Learner View
No Teach

5の内部状態を確認しながら教示を行った内的観測の方が有効なルールをうまく作成できている．

4

6.

3

結果の違いに関する考察と，ICS の効果およびその問

2

題点，今後の課題について議論する．

1
0

考察

0

5

Fig. 12

10

15

20
25
Problems

30

35

6.1

一般的な教示の例
本実験の TV と LV について，それぞれ行われた教示の典型的な例を Fig.14 と Fig.15 に示す．TV による教40

Frequency to light source

示については，教示者は環境を俯瞰的に観察するためロ

5.3

ボットの詳細なセンサ情報の変化はわからないが，障害

実験 2：光源到達・障害物あり

タスクの違いによる教示の違いを調べるために，実験物の位置をあらかじめ把握することができる．よって，

1 の環境にさらに障害物を導入した．これにより障害物

教示者はロボットを直接光源方向へ進ませることはせずを回避しながら光源にたどり着かなければならないため，に，あらかじめ障害物をよけてから光源方向に向かおう

外的観測を行う場合と，内的観測を行う場合では観測情とする教示が行われている．この時ロボット側では，離報に違いが生じやすく，結果教示方法に差が出やすいと散化された内部状態に変化はないのに教示信号が変わる想定される．障害物は透明なプラスチック版によって作という現象が何度か発生する．そのため，ある内部状態られており，光源の光を通すことができる．つまり，ロに対応して教示する行為が発散し，うまく学習するのはボットは障害物越しに光源方向を知ることができ，LV

難しいといえる．

において光源方向の特定が難しくなることを防いだ．実

一方，LV による教示については，教示者はロボット

験のパラメータは Table 1 と同じである．以上の設定にの状態をセンサパネルより詳細に見ることができるため，

より外的観測法 (Teacher View) と内的観測法 (Learner

内部状態に変化があった場合すぐに観測することができView) を用いた教示による方法を比較した．

る．俯瞰的な観測はできないが，光源方向は光センサによりわかるので，まず光の方向に向う．そして障害物に

5.4

実験 2 結果
ロボットが 5ヶ所の初期位置から光源にたどり着いた
回数 (Fig.13) を求めた．初めの段階ではあまり差が出な
いが，実験 1 と異なり TV の方は一つの場所ではゴール近づき始めて障害物を認識し，迂回しながら光源方向を目指す教示となる．ここではロボットは障害物との衝突もあり，あまりスマートな行為獲得とはいえないが，内にたどり着くものの教示からの学習がうまく進まずに，Goal 到達回数を増やさない．一方，LV の方は 40 ステッ
プで 6 割 Goal にたどり着くことができた．実験 1 の場合
は環境が近接センサの情報をほとんど使用せず，光セン–6–部状態の変化に対して行為が割り当てられ学習がうまく進んだといえる．

285

片上・山田：対話的進化ロボティクスの観測に基づく教示の設計

実験により調べた．実験の設定等は前述の実験 2 のものと同様の設定とした．実験に用いるロボット，センサ情報，プログラミング等の知識を持たない教示者グループ(G1=s-1,s-2) と，持つ教示者グループ (G2=s-3,s-4) の2 グループを用意し，教示者の知識による影響を検証する．50 試行をそれぞれ 5 試行の繰り返しとし，G1 と G2の光源までの到達回数の合計をそれぞれ調べた．Table
3 に示す．
Fig. 14

Table 3TV example of teaching

The sum total of the number of attainment

TeacherG1(amateur)G2(expert)

1
1
0

2
4
3

3
5
3

4
0
1

5
4
2

6
2
5

7
2
4

8
5
3

9
2
2

10
3
3

ここで G1 と G2 において教示効果に違いがあるのかを調べるために，棄却域の確率 5% で分散分析を行ったところ，F (1,18) = 0.7781;p > 0.05 により G1 と G2 の間に有意差がなかった．つまり，教示者の事前知識によって教示の効果は変わらないことがわかった．おもしろい
Fig. 15

LV example of teaching

ことに，G2 の方が到達回数が少ない場合がある．これ

6.2

教示の効果
35 試行後に内的観測によって作成されたルールの内，予測報酬の値が高いものから 4 ルールを Table 2 に示す．

は，教示の際に内部情報を確認しながらロボットに教示
情報を教える LV においては，ロボットのセンサ機能，システムの学習方法を知り，環境を不完全にモデル化しようとするエキスパートと，環境をモデル化できないた

それぞれ，前に光があるとき前に進む，右に光があるとめ内部情報を逐次確認しながら慎重に教示を行う素人のき右に曲がるなどの常識的で効率的なルールが作成され方との間に教示効果において差がなかったものと考えらている．ここで，Prediction 値はそのクラシファイアのれる．しかし，教示にかかった時間に関しては，G1 が行為 ai が出力された時に内部または外部の受け取った報G2 に比べ約 1.5 倍ぐらい時間がかかっていた．

酬の平均であり一般の Classifier System の強化値に相当する．また，Teaching は教示から作られたルールであ6.4

るかを示している．この実験においては，集団数 300 の

前述のように，身体性を持つロボットに対して教示を上位 50 のルールの内に教示により作られていないルー

扱う場合，Fig.3，4 のようなギャップが生じてしまう．

ルは三つしかなく，9 割以上が教示されたルールで占めロボットの身体性の特徴としてロボットの世界観測の能られていた．Prediction の値が高いものが人間の教示に力は限定されており，ロボットは全体的な視点に基づくより作られたルールであることから教示により有効な行

大域的な状況認識を行うことが不可能である．つまり，動の獲得がうまく進んでいることがわかる．

ロボットは自らの観測能力の範囲内における局所的な観認識の違いと解決方法

測入力に基づいて状況認識を行う必要がある．このよTable 2Created rules by LV method

Condition
0#0#0#####0#10##1#
0010###0##000#1###
00###0#000#1#0#01####000000101001011

6.3

Action1001
1111

Prediction
413.7
364.0
292.0
256.0

うにロボット外部の世界における状態空間においてはマ
ルコフ性が成り立つが，ロボットの観測の不完全性によTeaching
yes
yes
yes
yes

りマルコフ 性が失われるという状況における行動決定
問題は，部分観測マルコフ決定過程 (POMDP:PartiallyObservable Markov Decision Process)[10] としてモデル化することができ，近年では POMDP 上での行動獲得を扱った学習手法 [11] が提案されている．POMDP
上でロボットが現在の状態を特定するには，現在の状態

教示者の知識による影響

今回の実験では著者によって教示が行われているが，実験環境について詳しく知っている人間が内的観測ににおける観測値だけでなく動作を行うことで得られる観測情報を蓄積し，これにより状況を判別する機構が必要となる [12]．本論文では，クラシファイアの条件部に 1

よって教示しているので良い結果が得られるのではとい

ステップ前のロボットの行動を加えているがこの効果にう疑問が考えられる．そこで，事前知識を持つ教示者とついて検証してはおらず，この点に関しての詳細な考察

その知識を持たない教示者によりその違いがでるのかを

–7–

286

システム制御情報学会論文誌

第 16 巻

は今後の課題である．
ここで，ICS で用いている学習アルゴリズム，XCS は
Holland のクラシファイアシステムとは異なりメッセー
ジリストが存在しない．このため XCS は時系列的な情報を扱うことが難しく，従ってマルコフ性を持たない問題においては十分な学習が困難であるといえる．よって，当然本研究の ICS も時系列的な学習は難しく，大きな制約となっている．しかしこの問題に対してはクラシファ
イアシステムの方で時系列な学習を実現する研究 [13] が報告されており，それらの手法の適用が考えられる．

7.

おわりに

ヒューマン・ロボットインタラクションを通じてロボッ
トの自律行動を獲得していく提案手法を用いて，観測の観点から教示を外的観測による教示と内的観測による教示にクラス分けし，実機を用いた実験においてその効果について調査した．設定した実験環境において認識のずれが少ない単純なタスクにおいてはあまり差はでなかったが，認識のずれが生じるタスクにおいては内的観測における教示が効果を示した．認識のずれを判別し，認識のずれがある場合には内的観測における教示を行い，ない場合には外的観測による教示に戻ることで，最小の負荷で最大の教示効率をあげることができると考える．
また本研究では，ロボットの実環境における高速な学習を可能とし人間には記述困難な複雑なロボットプ
ログラムを簡単な教示をすることで学習，獲得することを示した．本研究の各実験における学習は 40〜50 分(PentiumIII 500MHz, RAM128M) を必要とする．しかし，オンラインで進化的に獲得させようとすると，「光第6号(2003)[4] Y. Horiguchi, T. Sawaragi, G. Akashi: Naturalistic human-robot collaboration based upon mixedinitiative interactions in teleoperating environment;
IEEE International Conference on Systems, Man,
and Cybernetics, pp. 876–881 (2000)[5] 稲邑, 稲葉, 井上: ユーザとの対話に基づく段階的な行動
決定モデルの獲得; 日本ロボット学会誌, Vol. 19, No. 8,
pp. 983–990 (2001)[6] D. Katagami, S. Yamada: Interactive classiﬁer system for real robot learning; IEEE International
Workshop on Robot and Human Interaction, pp. 258–
263 (2000)[7] S. W. Wilson: Classiﬁer ﬁtness based on accuracy;
Evolutionary Computation, Vol. 3, No. 2, pp. 149–
175 (1995)[8] S. W. Wilson: ZCS: a zeroth order classiﬁer system;
Evolutionary Computation, Vol. 2, pp. 1–18 (1994)[9] D. Cliﬀ, S. Ross: Adding temporary memory to ZCS;
Adaptive Behavior, Vol. 3, No. 2, pp. 101–150 (1994)[10] A. R. Cassandra, L. P. Kaelbling, M. L. Littman:
Acting optimally in partially observable stochastic
domains; 12th National Conference on Artificial Intelligence, Vol. 2, pp. 1023–1028 (1994)[11] 木村, L. P. Kaelbling: 部分観測マルコフ決定過程下での強化学習; 人工知能学会誌, Vol. 12, No. 6, pp. 822–830(1997)[12] 井上, 太田, 小林, 新井: 部分観測環境下における自律的状態分割による強化学習; 第 12 回自律分散システム・シ
ンポジウム資料, pp. 223–226 (2000)[13] S. W. Wilson, D. E. Goldberg: A critical review ofclassiﬁer systems; The Third International Conference on Genetic Algorithms, pp. 244–255 (1989)

源到達」という単純な行動でさえも，条件部と行動部の著 者 略 歴

組合わせを変えて移動ロボットを走らせてみるといった

かた

がみ

片 上

試行錯誤を何回も繰り返す必要があり，この作業は相当の労力を必要とする．さらに，障害物がある環境になると適切な行動が判断できなくなり，その設計はより難し

だいすけ

大 輔 (正会員)
1973 年 9 月 3 日生．1996 年電気通信大
学電気通信学部機械制御工学科卒業．1999
年東京工業大学大学院博士前期過程（知能くなるといえる．よって，簡単な教示により自動的に適システム科学専攻）修了．2002 年同大学
院博士後期課程修了．同年同大学院総合理
工学研究科助手．現在に至る．人工知能学

切な行動を獲得できることは，価値があると考える．

参 考 文 献会，日本ロボット学会，IEEE 各会員．

[1] H. Asoh, Y. Motomura, I. Hara, S. Akaho, S.
Hayamizu, T. Matsui: Combining probabilistic map
and dialog for robust life-long oﬃce navigation;
IEEE/RSJ International Conference on Intelligent
Robots and Systems, pp. 807–812 (1996)[2] H. Ishiguro, R. Sato, T. Ishida: Robot oriented state
space construction; IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 1496–
1501 (1996)[3] C. Mishima, M. Asada: Active learning fromcross perceptual aliasing caused by direct teaching;
IEEE/RSJ International Conference on Intelligent
Robots and Systems, pp. 1420–1425 (1999)

やま

だ

山 田

せい

じ

誠 二
1960 年 10 月 11 日生．1984 年大阪大学
基礎工学部卒業．1989 年同大学院博士課
程修了．博士（工学）．同年大阪大学基礎
工学部助手．1991 年同大学産業科学研究所講師．1996 年東京工業大学大学院総合理工学研究科助教授．2002 年国立情報学研究所教授， 現在に至る．工学博士．人工知能，特に，知的Web，ヒューマンエージェントインタラクションに興味をもつ．情報処理学会，日本ロボット学会，電子情報通信学会，
AAAI, IEEE, ACM 各会員．

–8–