HAIシンポジウム2007

1F-3

Human-Agent Interaction Simposium 2007

Keepon に人は何を感じるか：HAI におけるアクチュアリティについて小嶋秀樹†

仲川こころ†

マーク ミハロフスキ††† 情報通信研究機構 知識創成コミュニケーション研究センター〒 619–0289 京都府相楽郡精華町光台 3–5†† カーネギーメロン大学 ロボット工学研究所
米国 15213-3890 ペンシルバニア州ピッツバーグ市フォーブス街 5000 番地
E-mail: †xkozima@nict.go.jp, †††michalowski@cmu.edu
あらまし 本論文では，著者らが開発したロボット Keepon を事例として，HAI（ヒューマン＝エージェント＝インタラクション）におけるリアリティとアクチュアリティの関係について考察する．ここでいうリアリティとはモノとしてのエージェントがもつ存在感であり，アクチュアリティとはコトとして生じるインタラクションに当事者として主体的に関わる臨場感を意味する．存在感のあるエージェントとの臨場感のあるインタラクションを実現するには，ヒューマノイドやアンドロイドのようなリアリティは必須ではない．モノとしてのリアリティがインタラクションにおけるアクチュアリティを生じさせるのではなく，むしろシンプルなエージェントとのインタラクションにアクチュアリティを直観するなかで，エージェントのリアリティが立ち現われてくる．このような考えから，HAI のデザイン原理について考察したい．
キーワード ロボット，インタラクション，リアリティ，存在感，アクチュアリティ，臨場感．

What do people experience with Keepon? — Actuality in HAIHideki KOZIMA† , Cocoro NAKAGAWA† , and Marek P. MICHALOWSKI††† Knowledge Creating Communication Research Center,
National Institute of Information and Communications Technology
Hikaridai 3–5, Seika, Soraku, Kyoto 619-0289, Japan†† The Robotics Institute, Carnegie Mellon University
5000 Forbes Avenue, Pittsburgh, PA 15213-3890, USA
E-mail: †xkozima@nict.go.jp, †††michalowski@cmu.edu
Abstract This paper discusses how reality and actuality in HAI (human-agent interaction) relate with each other,referring to our experience with Keepon, a creature-like robot. In this context, reality means the quality of an agent
being salient as a physical presence, while actuality means the quality of interactions being lively as a subjectiveexperience. To establish rich HAI, we do not need reality like that of humanoids and androids; we would rather need
simple agent, with which people intuitively experience its actuality, from which the agent’s reality would emerge.
Based on this thought, we consider the design principle of HAI.
Key words robot, interaction, reality, physical presence, actuality, subjective experience.

1. は じ め に

共感的コミュニケーションの本質は，互いの心にアクセスしあい，心の状態を交換・共有することにある．目に見える他者人工物（情報処理システム）が「エージェント」という存在のの姿・動作（発語を含む）・周囲の状況から欲求や感情を読みとしかたをとることで，人との共感的なコミュニケーションへのり，次の行動を予測したり，その予測に合わせて自らの行動を道が拓ける．このような可能性を，人工物およびそれとのイン調整したりすることで，さまざまな社会的活動（協調や競争なタラクションのデザインという視点と人の認知メカニズムの解ど）を成り立たせている．言葉による命題のやりとりはコミュ明という視点から探求するのが，著者らが考える HAI（ヒューニケーションの一形態にすぎず，実際に伝達される語用論的なマン エージェント インタラクション）研究である．

意味は，心の状態の交換・共有によって支えられている．

＝＝-1-ところが，このような心の状態の交換・共有としてのコミュニケーションは，きわめて投企的な活動といえる．エージェントにも〈心〉があるということをユーザが想定しなければ，ユーザからみたエージェントの行動は〈心〉的な意味をもたない．
しかし，ひとたびエージェントの〈心〉が想定されれば，エージェントの行動は質的に全く異なった意味をもつようになり，エージェントとのインタラクションは〈心〉的に意味づけられた共感的コミュニケーションとなっていく．そのとき，エージェントにも〈心〉があるという想定は，もはや自明なものとして意識されなくなるだろう．
このような「相転移」を引き起こすには，エージェントおよびそれとのインタラクションをどのようにデザインしたらよいだろうか．本論文では，このテーマを「リアリティ」と「アクチュアリティ」という対立軸 [2] から考察していく．ここでいうリアリティとは，画面上あるいは実空間内に存在するエージェントがモノとしてもつ存在感である．一方，アクチュアリティとは，コトとして生起するインタラクションに当事者として主体的に関わるときの臨場感を意味する．エージェントのもつ存在感なしには，ユーザをインタラクションに引き込むことができないし，そのインタラクションに臨場感がなければ，エージェントの動作を〈心〉的に意味づけることが難しく，ゆえに共感的なコミュニケーションは実現しない．
存在感のあるエージェントとの臨場感のあるインタラクションを実現するにはどうすればよいだろうか．著者らは，モノとしてのリアリティがインタラクションにおけるアクチュアリティを生じさせるのではなく，むしろシンプルなエージェントとのインタラクションにアクチュアリティを直観するなかで，エージェントのリアリティが立ち現われてくると考えている，
以下では，ミニマルな身体性をもつロボット Keepon を例として，自閉症療育やエンターテイメントにおけるリアリティとアクチュアリティの関係を考察し，そこから HAI のデザイン原理を提案したい．

2. ミニマルな身体性
2. 1 リアリティが先か・アクチュアリティが先か最近のヒューマノイド研究やアンドロイド研究の発展はめざましい．ホンダの ASIMO を見たとき，誰もが「子どもが宇宙服を着て歩いている」と感じたのではないだろうか．アンドロイドの柔らかな身体は，自分の身体との同型性（そして微妙な差異）を意識させる．どちらもモノとしてのリアリティをつよく放射する〈身体〉である．
しかし著者らは，存在感のあるエージェントとの臨場感のあるインタラクションを実現するには，ヒューマノイドやアンドロイドのようなリアリティは必須ではないと考えている．モノとしてのリアリティがインタラクションにおけるアクチュアリティを生じさせる必要条件ではない．たとえシンプルな身体をもったロボットでも，ユーザに〈心〉を感じさせ，〈心〉の状態を直観的に了解させることで，ユーザにアクチュアリティを実感させるインタラクションを実現できる．そのようなインタラクションを実践するなかで，ロボットのもつリアリティがより

図1

子ども型ロボット Infanoid（アイコンタクトと共同注意）

Fig. 1 Infanoid, performing eye-contact and joint attention.

豊かな意味を発するようになっていく．
以下では，著者らが開発した子ども型ロボット Infanoid とぬいぐるみロボット Keepon を例として，このようなアプローチを検討してみたい．

2. 2 Infanoid に困惑する子どもたち
Infanoid（図 1）は，4 歳児程度の大きさ（座高 480mm）の上半身ヒューマノイドで，29 個のモータと多数のセンサをもっている．手には 5 本の指があり，指さしをしたりオモチャをつかむことができる．頭部には左右の眼球があり，その視線を上下左右にすばやく動かすことができる．また，眉毛や上下の唇を動かすことで，さまざまな表情をつくりだす．
眼球には，周辺視のための広角ビデオカメラ（水平画角 120度）と中心視のための望遠ビデオカメラ（同 25 度）が装着され，その画像をコンピュータ処理することによって，人間の顔やオモチャを検出・追跡することができる．耳にあたる左右のマイクロフォンから人間の声を聞きとり，その韻律情報（抑揚など）や音韻情報（コトバの断片）を抽出すること，また，それらの情報を音声合成装置に入力することで，いわゆるオウム返しが可能になっている．
この Infanoid に，おもに幼児期（平均約 4 歳）の定型発達児を，何の予備知識も課題設定も与えずに，ひとりずつ対面させた [3]．Infanoid は，子どもの発語を（韻律つきの音素列として）模倣しながら，子どもと見つめあう〈アイコンタクト〉と子どもと一緒にオモチャを見る〈共同注意〉[8] を自律的に行き来するようにした．また，実験者が Infanoid の注意方向（視線や身体定位）を必要に応じて修正するようにした．
このインタラクション観察から，子どもたちが Infanoid への存在論的な意味づけをダイナミックに変化させてく様子が明らかになった．まず，子どもたちは動く〈モノ〉としてのInfanoid と対峙し，その眼を凝視したまま緊張・困惑する．やがて，Infanoid の眼前でオモチャを動かす・Infanoid の手に触れてみるなど，さまざまに働きかけ，知覚し応答する〈システム〉としての応答パターンを探索していく．さらに，オモチャを見せる・手渡す，コトバで質問する（どっちが好き？）・命令する（ギューと握って！）など，Infanoid を意図や欲求，すなわち心をもった〈エージェント〉として捉え，社会的な関わりを深めていく．
その一方で，3 歳以下の子どもたちでは，動く〈モノ〉との緊張関係から先に進めないケースが多くみられた．子どもたち
は最初，Infanoid の眼・手・口などの動きをバラバラにしか捉-2-図 4 Keepon の機能：注意表出（左）と情動表出（右）Fig. 4 Keepon’s function: attentive expression (left) and emotiveexpression (right).

図 2 ロボット動作の直観的理解と分析統合

Fig. 2 Intuitive comprehension and eﬀortful analysis/integration

図 5 定型発達児（6 カ月・27 カ月）とのインタラクション

Fig. 5 Interactions with typically developing 6-month-old and 27month-old children.

図3

ぬいぐるみロボット Keepon（アイコンタクトと共同注意）

Fig. 3 Keepon performing eye-contact and joint attention.

• 注意表出——うなずき・くびふりの自由度によって，頭（視線）の方向を環境内のある対象に定位させる．これにより，Keepon がその対象を知覚しているように見える．アイコ
えていない．これら器管がバラバラに意味（注意・情動・意図など）を発信するが，そこからまとまりのあるゲシュタルトをンタクト（見つめあい）や共同注意（同じ対象を見ること）もこれに含まれる（図 3）．

捉えきれていない．そのゲシュタルトとは，何かに向かう注意• 情動表出——かしげ・上下伸縮の自由度によって，注意のや情動といった自律的な生物がもつ存在感であり，ロボットも方向をほぼ一定に保ったまま，楽しさ・興味・興奮といっ〈私〉と同じようにこの世界を知覚し，この世界に働きかけていた情動を表出する．これにより，Keepon が注意の対象にるという，生物としての同質性であろう [4]．このようなゲシュ向けて情動的な評価を表現しているように見える．

タルトの同質性を捉えるには，これら２つの表出行為によって，Keepon が「何」について「ど• 分析の努力——エージェントの身体を器管に分節し，それのような気持ち」を感じているのか，あるいは「誰」に「どのぞれの器管ごとに動きを捉え，その意味（指向性・情動成ような気持ち」を伝えたいのかなどを，観察者に直観的に了解分など）を分析することさせることができる．

• 統合の努力——それぞれの器管の意味を統合し，ひとりの他者による主体的・自律的な活動（知覚・行為など）として捉えなおすこと

2. 4 ナイーブな子どもからみた Keepon の意味
子どもが Keepon をどのように捉え，その姿や動きをどのように意味づけるのかを調べるために，定型発達児を対象として，という２つの認知的努力（図 2，上向き矢印）が必要となる．

実験室でのインタラクション観察を行なった（図 5）[3]．別室

これらが障壁となって，Infanoid と対面した子どもたちを緊張にいる操作者（いわゆる wizard）は，Keepon の〈眼〉で見たさせ困惑させたと考えられる．

画像と〈鼻〉で聞いた音をモニタしながら，Keepon の視線を

2. 3 Keepon にみるミニマルデザイン

子どもや大人の顔に向けたり，ときに近くにあるオモチャに向ロボット Keepon は，高さ 120mm の黄色い雪ダルマ型の〈身けたりさせ，子どもから何らかの行為が Keepon に向けられた体〉をもち，下部（黒い筒の内部）にあるモータによってマリときは，状況に応じた情動表現を「ポンポンポン」という人工オネットのようにワイヤで駆動される（図 3）．２つの〈眼〉は音とともに表出するようにした．

ビデオカメラ（カラー CCD；水平画角 120 度)，〈鼻〉はマイク

このインタラクション観察から，子どもたちが Keepon へのロフォンとなっている．外皮はシリコンゴムでできていて，手存在論的な意味づけを（経過時間とともに・発達年齢とともに）で触られたり，Keepon が姿勢を変化させたりすることで，自変化させてく様子が明らかになった．0 歳児は，Keepon を動然な伸びやたるみをみせる．

く〈モノ〉として扱い，手や口をつかってその感触を探索する．

Keepon は４つの自由度をもつ——うなずき（上下傾動 ±40

1 歳児は，Keepon を知覚し応答する〈システム〉として扱い，度）・くびふり（水平旋回 ±180 度）・かしげ（左右傾動 ±25

Keepon への関わり（手で触る・オモチャを見せるなど）と安全度）
・上下伸縮（ストローク 15mm）．これらの自由度によって，基地としての保護者への関わりを行き来するなかで，Keeponつぎの２つの表出行為をつくりだす（図 4）．の応答パターンを探索していく．2 歳児以上は，Keepon を心-3-

mentalizing
filterの状態をもった〈エージェント〉として扱う．オモチャの食べ物を食べさせる（ふりをする），２つのオモチャを見せてどちらが好きかを調べる，言葉や身ぶりであいさつする（「こんにrawdataちは」）といった社会的な関わりをみせるようになり，Keepon

motivation
to communicate

attention
emotionが適切な応答を返したときには，頭を撫でる（「よしよし」）など向社会的な関わりもみせるようになる．

persontypically developing child

子どもたちは，Infanoid の場合とほぼ同じように Keepon へmotivation
to communicateの意味づけを発展させていくが，注目すべきことに，Infanoidには 3 歳以下の子どもたちが緊張や困惑をみせたのに対して，

raw
data

Keepon にはどの年齢の子どもたちも緊張や困惑をみせなかった．身体器管への分節化やヒトとの対応づけが曖昧な Keepon
は，外見上はるかに異形な存在である．しかし，身体全体で注

autistic childperson

意と情動を表出するだけというシンプルさゆえに，また，しなやかで連続的な質感ゆえに，子どもたちは直観的にそのゲシュ

motivation
to communicate

タルトを捉え，生物としての同質性を了解し（図 2，右向き点線矢印），Keepon とのインタラクションに自然に入っていった

attention & emotionのだろう

3. 自閉症児とのインタラクションから考える

Keeponautistic child

著者らは，療育教室に Keepon を導入し，自閉症の診断ある

図 6 心理化フィルタ仮説（上：定型発達児の場合，中：自閉症児の場

いは疑いをもった子どもたち（2〜4 歳）とのインタラクション

合，下：Keepon と自閉症児の場合）
Fig. 6 Mentalizing ﬁlter hypothesis (left: typical; center: autis-を長期縦断的に実践してきた [5]．自閉症児は，一般に，視線や表情から他者の心の状態を読みとることに難しさをもつ [1]．しtic; right: with keepon).

かし，ミニマルなデザインをもつ Keepon と出逢った自閉症児たちは，Keepon の視線や情動表現を直観的に理解し，Keeponされる多元的な情報の洪水にさらされ，そこから注意や情動ととのインタラクションに自発的に入っていった．

いったコミュニケーションに欠かせない情報を取りだすことがたとえば自閉症児 M（3 歳女児）の場合，最初の数セッショ困難になる（図 6 中）と考える．

ンのあいだ，Keepon から直視されることを極端に嫌っていた．

その一方で，注意表出・情動表出に絞った Keepon の外見と保護者や療育士によれば，M は人や動物の視線には無関心であ機能は，〈心理化フィルタ〉が十分に機能していなくても，注ることが多いという．なぜ M は Keepon の視線にそれほど強意や情動の状態をダイレクトに伝達させる（図 6 下）．M がく反応したのだろうか．一方，その後は時間をかけて視線回避

Keepon の視線に強く反応したのも，いままでにない強い存在を乗り越え，Keepon との視線や情動表現のやりとりを楽しむ感を Keepon に感じたからだろう．子どもが受けとる情報を適ようになっていった．なぜ M は，苦手なはずのコミュニケー切に絞り込むことによって，彼らの〈コミュニケーションへのションに，自発的に入っていったのだろうか．

動機づけ〉を起動させ，心の状態を交換・共有するインタラク

一般に，自閉症児は〈コミュニケーションへの動機づけ〉が弱く，そのために他者とのインタラクションを実践する機会が制限されてしまい，これが言語・非言語を問わずコミュニケーションに彼らを引き込むことができるだろう．

4. リズムの共有から考えるション全般の発達障害をもたらすと考えられている [9]．しかリズムは，視覚・聴覚・触覚といった個々のモダリティの違いし，M を含め，Keepon との長期間にわたるインタラクションを越えた——モダリティ未分化（amodal）な——情報であり，を経験した自閉症児の多くが，自発的に Keepon との２項的な時間軸（たとえば聴覚的リズム）あるいは空間軸（たとえば視（１対１の）インタラクションを楽しむようになったことを考覚的テクスチャ），ときにはその両方にも展開される．人とロ

えると，自閉症児も〈コミュニケーションへの動機づけ〉を確ボットのインタラクションでも，リズムの認識と表出，そして，かに持っているように思われる．

リズムの共有と調整は，つながり感・共在感覚・共感的コミュ

著者らは，ちょうど Infanoid と対面した 3 歳以下の子どもたニケーションなどを支える底流（いわば「通奏低音」）となる．

ちが緊張と困惑をみせたのと同じように，他者（ヒト）と対峙そこには言語的コミュニケーションに見られる逐次的なターンした自閉症児たちも緊張と困惑のなかにいたと考えている．言（送受交代）はなく，身体をとおして表出・認識されるリズム

い換えれば，定型発達児は他者の身体動作から注意や情動の状の連続的な〈流れ〉があり，その〈流れ〉に同調したり，ある態を抽出する〈心理化フィルタ〉をもっていて，この抽出作業

いは〈流れ〉に変化を与えることで，さまざまなコミュニケーを意識下で行なっている（図 6 上）が，自閉症児ではこの〈心ションが行なわれる．

理化フィルタ〉が十分に機能せず，ヒトの各身体器管から発信人が表出したリズム，あるいは，人と共有される環境リズム-4-

図 7 Keepon 内部でのリズム情報の流れ

Fig. 7 From rhythmic perception to rhythmic action
図 9 ダンス仲間を探す Keepon のビデオ [10] の一場面

Fig. 9 A scene from another video of Keepon’s dancing [10].

〈幸福感〉を想像し，それに共感している．これも，音楽リズ
ムへの応答や，周囲の状況への関わり（注意や情動の応答的表出）について，Keepon との〈身体の重ねあわせ〉ができたためであろう．ひとたび〈身体の重ねあわせ〉が実現されれば，
図 8 ダンスする Keepon のビデオ [7] からKeepon の物理的な動作は共感的な解釈を受けるようになる．

Fig. 8 Scenes from the video of dancing Keepon [7].

5. HAI のデザイン原理に向けては，音声信号（音楽など），あるいは動画像（フローなど）またここまで見てきたように，シンプルな身体をもったエージェ

は加速度（被験者や玩具にセンサを装着）から抽出され，マスントでも，そのエージェントが何に意識を向けているのか（視ターメトロノームの速度を調整する．このマスターメトロノー線などによって表出された注意状態），それについてどのようムが Keepon の４つの自由度（モータ）駆動する．各自由度にな心の状態（表情あるいは身体動作によって表出された情動状

ついて振幅や位相などを任意に設定することができ，また，一態）をもっているのかなどを，直観的に了解できるようにデザ

定時間ごとに（あるいは外部からのトリガによって）これらをインすることによって，ユーザに〈心〉の存在を感じさせるこランダムに変化させることや，操作者がこれらを手動で変化さとができるだろう．また，エージェントが周囲の状況をどのよせることができる [6]．
（図 7）

うに知覚しそれに応答しているのかを，ユーザが身体的に了解

このようなリズム応答機能を使って Keepon がダンスするビ（重ねあわせ）できるようにインタラクション環境をデザイン

デオクリップ [7]（図 8）が制作された．音楽に合わせて Keepon

することによって，ユーザから共感的スタンスを引きだすことがダンスするだけのビデオクリップだが，インターネット上でができるだろう．

公開されて数週間で 100 万件を超えるアクセスを得た．生のイ

エージェントのもつリアリティは，ユーザに「可能な関わりンタラクションではないビデオクリップの視聴が，なぜこれだ方」を発信する．この「可能な関わり方」がシンプルで直観的けの影響力をもったのだろうか．に了解できるものであれば，ユーザは安心してそのエージェン

著者らは，その理由が〈身体の重ねあわせ〉にあると考えトとのインタラクションに入ることができる．そのインタラクている．まず，Keepon とそのビデオを見ている観察者の間でションをアクチュアリティをもって実践すること，言い換えれは，音楽が共有されている．Keepon はその音楽からリズムをば，ひとりの主体（ユーザ）がもうひとりの主体（エージェン抽出し，そのリズムに合わせた身体動作を実行する．それとはト）との〈心〉のやりとりを実体験することで，ユーザは「可独立して，観察者もその音楽からほぼ同じリズムを抽出し，リ能な関わり方」を拡張し，それをエージェントに帰属させていズミックな運動イメージを想起したり，場合によっては実際にく．これは HAI に限られたものではなく，おそらくヒューマンそれを実行したりする．このとき，Keepon と向きあった観察＝者は，自分の身体を動かすための運動イメージと，ダンスするのだろう．ある意味，このようなラセン状の循環のなかで，他Keepon の身体から感じとった運動イメージとを重ねあわせ，者のリアリティを同定しようとする行為がコミュニケーション

あたかも鏡に向かっているかのように，自分と同じ性質（「リの本質なのかもしれない．

ズム認識能力」から「〈心〉をもつこと」まで）を Keepon に帰属させたのではないだろうか．
続 編 と し て 制 作 さ れ た ビ デ オ ク リップ [10]（ 図 9）で は ，コミュニケーション一般を支える人間特有の認知スタイルな謝辞

自閉症児とのインタラクション実践では，近江八幡市立心身障害児通園センターの安田有里子さん・療育士の先生方・子どもたちと保護者の皆様のお世話になりました．リズ

Keepon がダンス仲間を求めて旅をするというストーリが設

ム共有の分析では，Rensselaer Polytechnic Institute の Selma

定されている．これを視聴した多くの人が，ダンス仲間が見つŠabanović さんのお世話になりました．これらの方々に感謝いからない Keepon の〈孤独感〉や最後に仲間を見つけたときのたします．

-5-文

献

[1] Baron-Cohen, S.: Mindblindness: An Essay on Autism andTheory of Mind, MIT Press, Cambridge, MA, USA (1995).
[2] 木村 敏：偶然性の精神病理, 岩波書店 (2000).
[3] Kozima, H., Nakagawa, C. and Yano, H.: Can a robot
empathize with people?, International Journal of Artiﬁcial
Life and Robotics, Vol. 8, pp. 83–88 (2004).
[4] 小嶋 秀樹, 長滝 祥司：ロボットが/に心を感じるとき——現象学とロボティクス. 長滝 祥司 (編著) 現象学と二十一世紀の知, ナ
カニシヤ出版, pp. 108–136 (2004).
[5] Kozima, H., Nakagawa, C. and Yasuda, Y.: Children-robot
interaction: a pilot study in autism therapy, Progress in
Brain Science, Vol. 164, pp. 385–400 (2007).
[6] Michalowski, M. P., Šabanović, S. and Kozima, H.: A dancing robot for rhythmic social interaction, ACM/IEEE International Conference on Human-Robot Interaction, Washington, D.C., USA (2007).
[7] Michalowski, M. P.: Keepon dancing to Spoon’s “I TurnMy Camera On” (a video clip), http://youtube.com/
watch?v=3g-yrjh58ms (2007).
[8] Tomasello, M.: The Cultural Origins of Human Cognition,Harvard University Press, Cambridge, MA, USA (1999).
[9] Tomasello, M., Carpenter, M., Call, J., Behne, T. and Moll,H.: Understanding and sharing intentions: The origins ofcultural cognition, Behavioral and Brain Sciences, Vol. 28,
pp. 675–692 (2005).
[10] WIRED: Keepon dancing to Spoon’s “Don’t You Evah”(a video clip), http://youtube.com/watch?v=nPdP1jBfxzo(2007).

-6-