発話マインドに基づく発話交替モデル–気持ちが読める会話インタフェースを目指して –湯浅 将英 徳永 弘子 武川 直樹 †本論文は，擬人化エージェントやロボットなどのコンピュータのインタフェースとの円滑な対話を実現するため，新しい発話交替モデルを提案する．人は日常会話で，「話したい／話したくない」という「発話マインド」の表出と他者の発話マインドを推測する能力があると考えられる．提案するモデ
ルには，会話参与者がお互いに他者のマインドを推測する機能を導入する．実際の人の会話の観察／
分析実験により，発話交替時に人が発話マインドを表出しながら，お互いにその解釈をしていることがわかった．さらに，擬人化エージェントの視線，表情，体の動きにより発話マインドを表現したときに，人はそれをマインドとして解釈して，発話をするかしないかを決めていることがわかった．これらにより，提案するモデルの妥当性が確認された．人の認知能力を利用した本モデルの概念は，人とコミュニケーションをする擬人化エージェントやロボットの設計論に重要な貢献をすると考える．

A Turn-Taking Model based on Utterance Mind-reading– Towards New Conversational Interface forHeart-to-heart Communication –Masahide Yuasa Hiroko Tokunaga and Naoki Mukawa †In this paper, we propose a novel turn-taking model based on utterance mind-reading andapply to animated agents. In everyday conversation, people use mind-reading ability to infer
other’s mind to want to speak or not to speak. To investigate the utterance-mind-reading
ability, first we observe the actual chatting video scenes and transcribe participants’ behavior
and utterances. The observations confirm that the utterance mind exists and that we canestimate participant’s mind. Finally, by using the agent demo system, we investigate relationship between nonverbal behaviors and user’s inferences of minds and a user’s actions thatstart to speak. Experimental results show that participants can read the agent’s mind fromthe agent’s nonverbal behaviors. The model and the result will contribute to realization of
innovative animated agents and robots that communicate with human in conversation.

1. は じ め に本研究は，人の持つ「気持ち」や「思い」を「マインド」と呼ぶこととし，人の会話のコミュニケーショ

人同士の会話では，会話の発言内容（言語情報）がンが，他者の行動に基づき他者のマインドを解釈し，相手に伝達されるだけではなく，表情や顔の向きなど

そのマインドから自分自身のマインドを生成し，さらの非言語情報によって他者の「気持ち」や「思い」をに相互のマインドを理解することによって成り立つとうまく推測し，それらをお互いに適切に通じ合わせいう立場から出発する．ここで「マインド」とは，おている．もし，お互いの気持ちや思いが推測できない

互いに読みあうことが可能な意図や感情であり，人がと，相手の主張の背景が理解できずに，誤解に基づく

他者の気持ちを理解する過程を説明した「心の理論

間違った行動をすることになる．たとえば，半開きの(Theory of Mind)」の概念1) に対応する．

窓を閉めてほしいときに，窓際の人に困った顔で「窓本研究は，会話のコミュニケーションとして特に「発を．
」と言ったにもかかわらず，窓を全開にされてしま

話交替」2)∼4) に注目する．発話交替は，話者が次々とうような場合，「寒くて困っているので閉めてほしい」

変わることを指し，同時に話せるのは一人であること，という気持ちのやり取りがうまくいっていない．

全員が沈黙するのは避けられるなど，会話の交差点と† 東京電機大学 情報環境学部 情報環境学科
Department of Information Environment, School of Information Environment, Tokyo Denki University

しての役割をもつ．発話交替においては，「話したい／話したくない」という「発話マインド」もやり取りされる．相手の話したいマインドを読み取ったら，自情報処理学会 インタラクション 2008

分が話すのを控えて相手の主張に耳を傾ける，あるい

視線の動きを検出し，発話の交替を実現するエージェ

は交渉時の会話であれば，他者の話したいマインドをントやロボットが開発されている14)∼17) . たとえば，

遮って話し出すなど，さまざまな行動がとり得る．そ話者の視線や頭部の動きをカメラや赤外線，または指のため，発話交替は「マインド」の交差点でもある．

向性マイクで話者の声の方向を捉える等により，発話発話交替は，その短い時間に微妙な非言語情報のやりを制御するエージェントやロボットがある．しかし，とりがされ，「発話マインド」が切り替わり，それ以降従来までのエージェントやロボットの発話交替は，たの会話の流れや雰囲気を大きく左右する．

とえば，「ロボットは，話者を見なければならない」「話

本論文では，発話マインドを考慮した発話交替モデ

者が発話を終えるときに，ロボットを見たら，ロボッ

ルを提案する．そして，そのモデルを擬人化エージェ

トは話し出さなければならない」など単純なルールをントやロボット等の会話インタフェースへ応用し，気用いている．このような単純なルールでは，人もその持ちの読める会話インタフェースの実現を目指す．以ようなルールで行動することが要請され，話したいと降では，実際に会話している人の行動を観察して，発きに思いのまま話すことができず，活発な楽しい会話

話マインドのやりとりを探り，続いて，擬人化エージェの雰囲気を作ることができない．また，お互いの「気ントを用いた人との会話インタラクション実験により，持ち」や「思い」が分かりにくく親密さが感じられな

提案したモデルを検証する．

い欠点がある．このように人同士であれば当然のこと

次章では，本研究に関連する先行研究について述べる．３章では，発話マインドを考慮した発話交替モデルを提案する．モデルを検証するため，４章では，実際の会話の観測から発話の交替と発話マインドの分類を探り，５章では，擬人化エージェントを用いた実験を述べる．６章で議論し，７章でまとめを述べる．

が，これまでの会話インタフェースではまったく実現
されていなかった．

3. 発話マインドを用いた会話発話交替モデルの提案
3.1 発話交替階層モデル
図 1 は，我々が提案する発話交替モデルである．簡2. 従 来 研 究

単のために，二者間のコミュニケーションの場合を表

社会心理学や認知心理学において他者の心を理解す

現しているが本論文で扱う三人の会話にも適用できる．

る過程を述べた「マインド」の研究によれば，人は，図は，発話が外界からの刺激（コミュニケーションの表情や視線，頭の動き，体の姿勢などの観察された振相手の視線や表情，頭の動き，体の動きなど）に対しる舞いから，他人のマインドをすばやく推測する能力て階層的に判断，応答することを表し，下位層，発話6)∼9)を持つとされている．小野らが，人がロボットのマインド層，上位層以上から成り立つ．下位層は，従マインドを推測することで，不明瞭な音声であっても来の単純な発話交替ルールに基づいた発話交替に対応

それが補完されることを示している9) ．発話マインドするもので，直接的にわかる相手の振る舞い（表情やについては，Poggi らが，話者の声の音量や韻律など

視線，体の動きなど）の観察から，迅速に発話の行動の非言語情報の表現と発話欲求の関連を分類していをする役割を持つ．たとえば，聞き手が話者から「視6)る ．しかし，それは主観的に分類したものにすぎず，

線や顔がこちらに向けられた」「こちらの方向に話し

実際に人がそのように行動し解釈するかは確かめられかけられた」などから，「自分が話すべきである／話ていない．もし，非言語情報と発話欲求の具体的な関すべきでない」と単純にルールとして判断するもので連が分かれば，人の発話マインドの振る舞いを理解しある．

たエージェントやロボットが設計できる．また，エー

中位の「発話マインド層」は，自分が「話したい／

ジェントやロボットが発話マインドの振る舞いを表出

話したくない」という発話マインドを表出したり，他したときに，人がそれを理解できる．本研究では，実者の観察された振る舞いから他者の「話したい／話し際に人間の観察から発話マインドを分類する．さらにたくない」の発話マインドを解釈する層である．会話

それを実装したエージェントの振る舞いが人に理解で参与者は，話者の発話中（発話開始から次の発話交替

きるかを確かめる．

まで）に発話マインドを持ち，それを表情や視線，体心理学や言語学では，発話交替と視線の振る舞いと10),11)の関係が分析されの動きとして表出する．発話交替時には，話者，聞き，会話の話者によって見られ手がお互いに表出された発話マインドを解釈し，誰がた聞き手が，次に話し出す傾向があることが明らかに話すべきかを判断し，会話の衝突と沈黙を回避する．

されている3),12),13) ．この知見を利用して，ユーザのたとえば，話者の会話の終了時に，一人の聞き手が身発話マインドに基づく発話交替モデル–気持ちが読める会話インタフェースを目指して –図 1 発話マインドを用いた会話発話交替モデル（図中のキャラクタは TVML5) より）
Fig. 1 The turn-taking model using utterance mind (TVML5) characters are used)を乗り出して口を開きかけていれば，他の会話参与者• 仮説 2 発話マインドによる発話 人は，他者の発は，その人が話したいと予想する．聞き手が話者から話マインドを解釈後，適切に発話行動ができるの視線を逸らせば，他の人は，その人は話したくないと推測する．そして，人は話したいマインドを示して

以下，本論文では，実際の人の会話行動を観察，分いる人には話してもらい，話したくないマインドを示

析して，上記の仮説を確かめる．さらに視線／顔向き

している人には自分の方から話しかける．

などを変えられる擬人化エージェントと人とのインタ

上位層は，中位，下位の層からの情報を基に，自分が話すべきか否かを自身の目的や戦略に応じて決めることに相当する．たとえば，「相手にプレッシャーを与ラクション実験により仮説を詳細に検証する．

4. 会話映像分析による発話マインドの検証えるため，相手が話し続けていたとしても，大きい声

本章では，実空間の三人会話を撮影した映像を観察，で話者に割り込む」「自分が不利にならないように他分析することにより，人の発話マインド表出，解釈，発の人の意見を探る必要があり，自分は何も言わない」

話行動の変化を検証する．ここでは，著者らの研究になど，長期的で複雑な計算に基づく発話交替に当たる．

基づき，非言語情報による発話交替と発話マインドの前章で述べたように，従来までの対話エージェント

関係について述べる．詳細は文献 4) を参照されたい．

やロボットは，話者の発話の終了を判断して発話交替

4.1 話者の視線と発話交替するだけの単純なものが多い．進んだものでもカメラ人同士の会話の分析には，親友同士の女性三人のや指向性マイクから視線や顔がこちらに向いているか会話を収録したビデオ（計 18 分）を用いた．会話分を判断し，単純なルールに従って発話交替を実現する

析ツールソフト「CIAO2」18) を用いて発話内容，顔下位層のみからなるものであった．しかし，このよう向き，視線方向，表情，ジェスチャなどのデータを人な発話交替は，司会者が次話者を指名することによる手により入力した．話者交替が円滑に生じうる区間

発話交替や，相手の視線や顔向きによって，必ず話し（Transition Safety Zone:TSZ）において，話者が発たり沈黙したりしなければならない形式的な発話交替

話終了時にどこを見ていたかの視線に注目した．

となり，会話に活発性が無く，親密性にも欠ける．我々

集計の結果，TSZ 時に話者の視線を受けて聞き手

は，発話マインド層を考慮した発話交替により，相手が発話するのが 51 ％であったに対して，話者の視線の気持ちを理解し活発性と親密性をもった会話が実現を受けていない聞き手の発話が 24 ％，話者の視線ができると考える．

誰も見ていないときの発話が 10 ％であった．

ここで述べた発話の階層モデルは下記の仮説を検証することにより確かめられる．

よって，従来研究3),12),13) と同様，話者によって見られた聞き手が，次に話し出す傾向があることが確かめられた．一方，話者の視線を受けていなくても，聞• 仮説 1 発話マインドの解釈 人は，他者の視線やき手が話を始めることも多いことが分かった．また，

顔，表情，体の動きから「話したい／話してほし複数の会話参与者が同時に発言し，それらがぶつかい」という発話マインドを解釈できるる場合や，話す人が誰もいなくなる場合は極めて少な情報処理学会 インタラクション 2008
表 1 発話マインドと定義（文献4) より抜粋）
Table 1 The definition of utterance minds4)
発話マインド強↑↓弱

名前（分類名）

定義

発話立候補
発話促進
発話懇願
視線回避

次話者になりたい視線
次話者になってもいいが，むしろ相手の話を聞きたい視線（相手の話への興味が優先）
次話者を辞退したいので，相手に話してもらいたい視線（自信がない，準備ができていない）
話者からの視線を避けた視線（他の人に振ってほしい，自分を見ないでほしい）

かった．これは，話者が話しているときには，次に誰がしゃべりそうで誰がしゃべらないかの発話マインドを会話参与者らが非言語情報から解釈し，発話の衝突や沈黙を避けて，会話がスムーズに継続したと考えられる．このときは，話者から向けられる視線は絶対的な役割を果たさず，人はより柔軟に判断，行動していると考えられる．

4.2 発話マインドの表出と解釈の確認
本節では，会話の参与者として特に聞き手に注目し，会話中に聞き手から発話マインドが表出，解釈されて

図 2 発話マインド表出と話者交替
Fig. 2 The utterance mind and turn-taking

いる様子を分析する．会話中の聞き手の発話マインド
は，その聞き手の行動が他の参与者から観測されるこのマインドを表出した後には，その聞き手が次話者ととによって解釈されるものと考えられる．他の参与者なり，また，「発話促進」「発話懇願」「視線回避」のマがどのようにマインドを解釈しているかは映像から読

インド表出した後にもう一人の聞き手が話し出す，あみ取ることは難しいため，ここでは，会話映像を観察

るいは話者が発話をそのまま継続すると予想される．

する三人の評定者を用意し，その評定者が映像シーン

評定マインドとその後の参与者の発話行動を確かめた

中の聞き手の発話マインドを読み取ることによって分結果を図 2 に示す．図より，各発言マインド通りの発析することとした．分析の対象となる映像は，前節と話交替がされていることが確かめられた．

同様の女性三人による会話を用いる．

4.3 観察結果の考察

分析において，特に話者が発話中の聞き手の非言語

前節の結果は，評定者は会話中の視線や顔，体の動情報（視線，姿勢，表情，唇の動き，体の動きなど）

きなどから，「話したい／話したくない」の発話マインに着目し，評定者らは発話マインドを解釈して分類しドを解釈できることがわかった．このマインドは実際た．分類は，各評定者ら三人の意見交換（議論）で決の会話中に他の参与者から観察され，利用されうるも定した．表 1 に結果の一部を示す．表中の「相手」とのである．また，表出された発話マインドは，他の会

は「もう一人の聞き手」を指す．また，分類の名称に話参与者らに解釈されて，参与者らの発話の有無に影ついては，わかり易さのため一部を変更した．評定の響を与えて，マインド通りの話者交替が実現されるこ

結果，聞き手の持つマインドとして今回の分類実験でとが分かった．これらの結果から前章の仮説 1 と仮説

は，発話意欲の強度に応じた「発話立候補」「発話促

2 が成り立つことが示された．

進」「発話懇願」「視線回避」の４つの発話マインドの

マインドの評定において，評定者は映像中の言語内存在を確認した．なお，評定者は個々に映像を詳細に

容，視線，姿勢，表情，唇の動きなどの非言語情報か観察，評定した．評定後，全員で議論し，観察の対象

ら読み取っていたと述べている．これは，人間が視線としていた 196 箇所中 181 箇所（92 ％）で分類の合意や姿勢などの非言語情報から発話マインドを判断でき

一致がなされた（議論前の一致率は 62 ％であった4) ）．

ることを意味する．よって，CG 合成によって構成さ

このように，評定者により聞き手の発話マインドが十れる擬人化エージェントを用いて，同様のノンバーバ

分に解釈可能であることが確かめられた．

ル行動をさせても，人はそこから発話マインドとして

次に，分類した発話マインドに従って，表出された発話マインドが相手に伝わって解釈され，マインドに対応した行動が引き起こされているかを確かめる．マ
インド通りに行動が起きれば，聞き手の「発話立候補」

解釈する可能性がある．

発話マインドに基づく発話交替モデル–気持ちが読める会話インタフェースを目指して –(A)(B) では，エージェントの行動を確率で調整できる．調整により，(B) ではユーザは「ユーザの発話
終了時に，視線を向けられたエージェントが話し出す」
状況，「ユーザの発話終了時に，視線を向けられなかったエージェントが話し出す」状況，「エージェントらの発話終了時に，ユーザが話に入りにくい」状況などが体験できる．
続いて，ARABAHIKA を用いた発話マインドの表
図 3 (A) 三体のエージェント，(B) 二体のエージェントとユーザ
Fig. 3 (A) Three agents, (B) Two agents and a user

出実験を述べる．始めに検証したい仮説，続いて仮説を検証するための実験方法，結果を述べる．

5.2 仮

5. 擬人化エージェントによる仮説検証実験

説

実験では，聞き手の擬人化エージェントの視線，表情，体の仕草といった振る舞いを，ユーザ（実験協力

5.1 実験方法の概要

者）が発話マインドとして解釈するか，また，解釈し本章では，擬人化エージェントのノンバーバル行動

た結果，ユーザがどのような発話マインド（話したくによって発話マインドが読み取れるか，また伝わったなるか，ならないか）を持つかを調べる．３章の仮説

マインドによって人が発話行動をしようとするかを確を詳細化した下記の仮説を立てる．仮説の前提としかめる評価実験について述べる．

て，ユーザの前の画面上には話者のエージェント，聞評価を実施するため，擬人化エージェントによる「発話交替シミュレーションシステム（ARABAHIKA）」

き手のエージェントがおり，以下の仮説では，聞き手のエージェントの行動に着目する．

を開発した19) ．本システムは，視線検出装置を用い，複数の擬人化エージェントのうち，ユーザがどれを見ているかを捉えて，自律的に動作するエージェントと発話の交替を体験するシステムである．また，実際の人間の言語ではないが，人間の言語を話している
ように聞こえる無意味音声（ARABAHIKA や UKU-

JARAH 等）を合成して作成し，エージェントに発話をさせている．これは，エージェント同士，あるいは人とエージェント間での発話の内容そのものによる発話交替を考えないようにするためである．エージェン
トへの実装には TVML5) とその API を用い，さらに，ユーザがどちらのエージェントを見ているかを検出す
る視線入力装置は NAC 社の Voxer，ユーザからの音
声入力は Julius20) を用いた．ARABAHIKA は，下記の二つのモード (A)(B) で動作する．

• 図 3(A) 三体のエージェント会話
画面中に三体が向き合ったエージェントを登場させ，外部からは，三者が話し合いをしているように見えるものである．

• 図 3(B) 二体のエージェントとユーザの会話(A) の三体のうち，一体をユーザに置き換えたものである．赤外線を用いた視線検出装置を用いてユーザの視線を捉え，ユーザが発話し終わったときにどちらのエージェントを見るかを検出する．
二体のエージェントは，それぞれ独立にユーザに見られたかを判断して発話する．

仮説 1.1 話者エージェントの発話終了時，聞き手エージェ
ントがユーザに視線を向けながら体を上に伸ばすような仕草をすると，エージェントが視線を向けるのみの仕草よりも，ユーザには「エージェントが話し出そうとしている」マイン
ドを持つように見える．
仮説 1.2 話者エージェントの発話終了時，聞き手エージェ
ントがユーザに視線を向けながら身を乗り出すような仕草をすると，エージェントが視線を向けるのみの仕草よりも，ユーザには「エージェントがユーザに話してほしい」マイン
ドを持つように見える．
仮説 1.3.1 話者エージェントの発話終了時，聞き手エー
ジェントがユーザに視線を向けながら笑顔の表情をすると，エージェントが視線を向けるのみの仕草よりもユーザには「エージェントが話し出そうとしている」マインドを持つよ
うに見える
仮説 1.3.2 話者エージェントの発話終了時，聞き手エー
ジェントがユーザに視線を向けながら悲しい表情をすると，エージェントが視線を向けるのみの仕草よりもユーザには「エージェントがユーザに話してほしい」マインドを持つよ
うに見える
仮説 2.1 話者エージェントの発話終了時，聞き手エージェ
ントがユーザに視線を向けながら体を上に伸ばすような仕草をすると，エージェントが視線を向けるのみの仕草よりも，ユーザは「エージェントに話してもらおう」とする
仮説 2.2 話者エージェントの発話終了時，聞き手エージェ
ントがユーザに視線を向けながら身を乗り出すような仕草をすると，エージェントが視線を向けるのみの仕草よりも，ユーザは「エージェントに話しだそう」とする
仮説 2.3.1 話者エージェントの発話終了時，聞き手エー
ジェントがユーザに視線を向けながら笑顔の表情をすると，エージェントが視線を向けるのみの仕草よりも，ユーザは「エージェントに話してもらおう」とする
仮説 2.3.2 話者エージェントの発話終了時，聞き手エー情報処理学会 インタラクション 2008
ジェントがユーザに視線を向けながら悲しい表情をすると，エージェントが視線を向けるのみの仕草よりも，ユーザは「エージェントに話しだそう」とする

次いで，仮説を検証するための実験手順を説明する．

5.3 実 験 方 法
擬人化エージェントに，視線，表情，体の動きなどの組み合わせにより発話マインドを表現する動作を実装した．図 4 に表現の例を示す．実験は，エージェン
トが発話マインドを表現した場面の後にエージェントの動作が停止し，そのときにユーザがアンケート評価をするものである．
発話マインドの表現動作は，実際の人の会話映像の観察と，Poggi らによる動作の意味の考察（文献 6)）を基に検討した．実際の発話マインドの仕草（口をわずかに開く等）と同等のＣＧ作成が困難なものもあったため，様々なＣＧも用いて予備実験を繰り返すことで表現を絞り，10 パターン (表 2 の P1-P10) を作成した．

なった後に画面が暗転し，ユーザに評価するように指示する．暗転をする前までに，視線だけでなく，体の動きと表情の動作を加えたものが表 2 の P1〜P10 である (図 4(3)(4) も参照）．各パターンにおけるエー
ジェントの行動から，エージェントの発話マインドの解釈，さらにユーザ自身の発話マインドを主観評価により調べる．ユーザは 10 のパターンを見て，下記の2 つの質問に答える．
• 質問 1：映像の最後で，右の男の人は，どうしたい様子だと感じますか？
–
–
–
–
–

1. 話をしたいと感じる
2. どちらかといえば話したいと感じる
3. どちらともいえない4. どちらかといえば話をしてほしいと感じる
5. 話をしてほしいと感じる• 質問 2：映像の最後で，あなたは，
–
–
–
–
–

1. 話をする
2. どちらかといえば話す
3. どちらともいえない4. どちらかといえば話をしてもらう
5. 話をしてもらう

質問 1 は，右のエージェントの発話マインドの解釈

なお，予備実験において，人に近い CG のキャラを尋ねたものである．選択肢番号が小さいほど，エー

クタは，「表情がわかりにくい」と指摘があったため，

ジェントの話したいマインドが高い．質問 2 は，エー実験に用いた擬人化エージェントには，目，眉の動き

ジェントの発話マインドを解釈したユーザのその後のが明確で，表情の動きがはっきりしているアニメ的な発話マインドを尋ねたものである．選択肢番号が小さ

キャラクタを選んだ．

いほど，ユーザが話し出すことを示す．

実験に用いたエージェントのノンバーバル行動のパ

5.4 実 験 結 果

ターンを説明する．図 4(1) の画面中の左のエージェ

理系大学生 15 人によって実験した．なお，エージェ

ントが話しているが，やがて話が終わり，発話交替す

ントのパターンは，人ごとに順番をランダムに並び替べきときになる．このとき，右のエージェントがユーえて示した．表 2 の右二列に結果を示す．数値は，上ザの方を見て，図 4(2) の P1 のようになる．この振る記のアンケートの選択肢数値の平均を表す．表から，舞いは，視線による典型的な発話交替の動作に対応しエージェントの発話マインド（質問 1）は，「(P6) 身ている．発話交替状況のときに視線を向けられることを乗り出す 」が最も値が高く（4.40）「(P5) 笑顔で体で，ユーザは自分が話し出すべきか否かを決めることを上に伸ばす」が最も値が低い（2.00）と評価された．

になる．ここまでが基本的な動作であり，この状況にエージェントの発話マインドはエージェントの行動によって推測結果が明確に異なると考えられる．ユーザの発話行動（質問 2）は，「(P5) 笑顔で体を上に伸ばす」が最も値が高く (3.73)，「(P6) 身を乗り出す」が最も値が低い (1.87) ことが得られ，それぞれについて，ユーザが話し出す／話し出さないの行動選択に顕著な違いが表れた．
単純な視線のみによるマインド表出（P1）と他のマ
インド表出パターンとの違いを調べるため，t-検定を実施した．発話マインド解釈（質問 1）に関しては，P1 と図 4 実験で用いた振る舞いパターンの例，P1,P5,P6 は表 2 に対応
Fig. 4 Examples of animated agent’s behaviors. P1,P5
and P6 explain in Table2

有意差があったものは，P3（p<0.05），P4（p<0.01），

P5（p<0.01），P6（p<0.05），であった．ユーザの発話行動（質問 2）に関しては，P1 と有意差があったものは，P2（p<0.05）P4（p<0.05），P5（p<0.01），で

発話マインドに基づく発話交替モデル–気持ちが読める会話インタフェースを目指して –表 2 マインド表出パターンと評価の平均値（N=15）
Table 2 Patterns of utterance mind and average scores (N=15)
エージェントの振る舞い

説明

質問 1

質問 2

(P1) 視線を向ける(P2) 笑顔で視線を向ける(P3) 悲しい表情で視線を向ける(P4) 体を上に伸ばす

ユーザに振り向くのみ．典型的な視線による発話交替
P1 に笑顔の表情を付加
P1 に悲しい表情を付加
ユーザに振り向きながら，体とさらに頭部の位置を上に移動する CG 表現で，体をピンと伸ばすような動作
P4 に笑顔の表情を付加
ユーザに振り向いた後，ユーザに向かって身を乗り出すような前傾姿勢を取る
P6 に笑顔の表情を付加
P6 に悲しい表情を付加
ユーザに振り向きながら，体とさらに頭部の位置を下に移動する CG 表現で，首をすくめるような動作
P9 に悲しい表情を付加

3.33
2.53
3.93
2.13

2.33
3.07
2.13
3.12

2.00
4.40
3.27
4.27
3.20

3.73
1.87
3.27
2.13
2.67

3.80

2.47

(P5) 笑顔で体を上に伸ばす(P6) 身を乗り出す(P7) 笑顔の表情で身を乗り出す(P8) 悲しい表情で身を乗り出す(P9) 首をすくめる(P10) 悲しい顔で体をすくめるあった．以上の結果，仮説 1.3.1，仮説 2.2，仮説 2.3.2

あることはわかるが，次にエージェントが話すか否かは支持されなかった．他の仮説はすべて支持された．

を解釈することが難しい可能性がある．発話交替時

なお，質問 2 について P1 と P6 で有意差が見られず，にユーザがエージェントの発話の意欲を感じるために仮説 2.2 は支持されなかったが，P5 と P6 では有意は，喜怒哀楽の表情よりも，「体を伸ばす」「首をすく差 (p<0.05) があり，エージェントが「体を上に伸ばめる」といった覚醒度や支配性の高低を表すような表す」か「身を乗り出す」かによって，ユーザは発話す

現が必要であると考えられる．さらに，たとえば，あるか否かの選択を変えたといえる．また，二つの質問

らかじめ覚醒度が高いことがわかっている振る舞いをの選択肢数値には，強い相関（相関係数-0.85）が見らエージェントに用いエージェントの発話意欲を示す，

れ，エージェントの発話マインドがどのくらいと解釈

あるいは，支配性の高い振る舞いをエージェントが示するかで，ユーザは発話行動の選択を変えることが分しユーザに発話を促す，等の会話制御ができるだろう．

かった．

今後追加の実験により，発話マインドの非言語表現のこれらの結果より，聞き手エージェントの視線，表詳細を調べる予定である．

情，体の動きの違いからエージェントの発話マインド

今回の映像観察実験では，友人同士の三人の会話ををユーザは解釈したことが分かった．さらに，解釈し扱っている．通常の友人同士の会話では，会話が和やた結果に基づいてユーザが自分が話し出すべきか否かかな関係を維持することが重要となるため，他人の発について行動選択を変えることも分かった．

話にわざと割り込むことは少ないが，交渉や議論など，

人のすべての表現機能や動作を備えていない限定さ調停や争いの場では，他人の発話を妨げたり，無視しれた動作の擬人化エージェントに対しても，人は，そたりする場合が多くなる．これらの広範な会話タイプの表情や姿勢から，発話マインドが読み取れることがの発話交替での発話マインドも調べていく．

示された．

6. 議

今回提案した発話交替モデルは，従来研究で得られ論ているマインドに関する知見により，人がほぼ自動的に発話マインドを推測する能力を持つという前提に基エージェントを用いた仮説の検証実験では，表情にづく．この能力は，相手がたとえ CG の擬人化エー

関しての仮説 1.3.1 と仮説 2.3.2 が棄却された．エー

ジェントであっても，人はマインドを見出し，行動をジェントの笑顔，悲しみの表情の解釈の分散が大きい

変化させることが得られた．コンピュータの性能を上理由を予備実験の結果やユーザへのインタビューなどげることではなく，人の認知能力のマインドを利用すと合わせ考察する．笑顔は，本来うれしいことがあっることは，今後のインタフェース設計に応用できる重たときに表出されるものである．しかし発話交替時に要かつ有用な手法であると考える．

聞き手エージェントが笑顔を表出すると，エージェン

これまでの対話インタフェースの設計では，人が表

トが話者からうれしいことを言われたとの解釈はでき

出する非言語情報からエージェントやロボットが感情るが，その結果，エージェントが話したいのか否かをを理解する機能と，ロボットの持つべき感情を非言語明確に決めるまでには至らない可能性が考えられる．

情報に表出させる機能とを非言語情報の単純なエン

悲しい表情についても，エージェントが悲しい状態にコードとデコードの手順に組み込み，「情報を入力して情報処理学会 インタラクション 2008

出力を返す」という形式のコミュニケーションを目指していた．しかし，人同士のコミュニケーションは単
純に情報を入力して出力を返すものだけでなく，気持
ちや思いを通じ合わせるものである．本論文では，人によるマインド解釈を述べたが，さらに，コンピュー
タ側も赤外線カメラやセンサなどを用いて，人の動作
から人のマインドを解釈する機能を持つことで，お互いのマインドを理解したインタフェースとなる．本研
究のように，ある事象についてのマインドを数種類に分類し，コンピュータ側がいずれかのマインドを表現しながら，人側のマインドが何であるかも解釈することで，単純に「コンピュータが反応を返してくれる」
だけでなく，「コンピュータと気持ちが通じ合っている」ようなインタフェースが設計できるだろう．本研
究は，コミュニケーションにおいて，特に発話交替に注目し発話交替モデルを提案したが，マインドに基づ
くモデル設計は発話交替に限らず，コンピュータと人との「気持ち」をやり取りする対話設計に重要な指針を示していると考える．

7. ま と め
本論文では，マインド推測の概念に基づいた発話マ
インドを定義し，新しい発話交替モデルを提案した．
モデルを検証するため，実際の人間行動観察と擬人化
エージェントによる実験を実施した．それらの結果，人が発話マインドを表出，解釈し，またエージェントで表現される発話マインドも解釈し，発話行動していることが分かり，提案したモデルの妥当性が確かめられた．マインドを用いたモデル設計概念は人とコミュ
ニケーションをするエージェントやロボットの設計に重要な貢献をすると考える．
謝辞 本研究の一部は，文部科学省科学研究費補助金
基盤研究 (B)16300032(2006)，若手研究 (B)19700119(2007)，および東京電機大学先端工学研究所重点課題，
東京電機大学総合研究所研究 Q06J-14 による．

参 考

文 献

1) Baron-Cohen, S.: Mindblindness, The MIT
Press (1995).
2) 石崎雅人，伝 康晴：談話と対話，東京大学出版会 (2001).
3) 榎本美香，伝 康晴：3 人会話における参与役割の交替に関わる非言語行動の分析，人工知能学会
研究会資料, SIG-SLUD-A301，pp.25–30 (2003).
4) 徳永弘子，湯浅将英，武川直樹：３人会話の発話交替における視線行動と発話マインド分析-聞き手の立場から見た発話・非発話の戦略-，信学会 HCS, 映像情報メディア合同研究会, フォーラム顔学 2007 第 12 回日本顔学会 (2007).
5) TVML: http://www.nhk.or.jp/strl/tvml/.
6) Poggi, I., Pelachaud, C. and Caldognetto,
E.M.: Gestural mind markers in ECAs, In Proc
AAMAS 2003, pp.1098–1099 (2003).
7) Malle, B.F. and Hodges, S.D.: Other Minds,
The Guilford Press (2005).
8) Sperber, D. and Wilson, D.: Relevance:
Communication and Cognition, Blackwell Pub(1995).
9) Ono, T. and Imai, M.: Reading a Robot’s
Mind: A Model of Utterance Understanding
based on the Theory of Mind Mechanism, In
Proc. AAAI-2000, pp.142–148 (2000).
10) Kendon, A.: Some functions of gaze direction
in social interaction, Acta Psychologica, Vol.32,
pp.1–25 (1967).
11) Argyle, M. and Cook, M.: Gaze and Mutual
Gaze, Cambridge University Press (1976).
12) Sacks, H., Schegloff, E. and Jefferson, G. A.:
simplest systematics for the organisation ofturn-taking in conversation, Vol.50, No.4, pp.
696–735 (1974).
13) Vertegaal, R. and Ding, Y.: Explaining effects of eye gaze on mediated group conversations: Amount or synchronization?, In Proc.
2002 ACM conference on computer supported
cooperative work (2002).
14) 松坂要佐，小林哲則：ROBITA: グループ会話ロ
ボット，人工知能学会研究会資料 SIG-Challenge0113，pp.1–8 (2001).
15) Scassellati, B.: Theory of mind for a humanoid
robot, Autonomous Robots, Vol. 12, No. 1, pp.
13–24 (2002).
16) Kojima, H. and Yano, H.: A robot that learns
to communicate with human caregivers, In
Proc. of the First International Workshop on
Epigenetic Robotics, pp.47–52 (2001).
17) Eichner, T., Prendinger, H., Andre, E. andIshizuka, M.: Attentive presentation agents, In
Proc. IVA-07, pp.283–295 (2007).
18) CIAO: http://open.nime.ac.jp/software/
ciao/index content.html.
19) 湯浅将英，徳永弘子，武川直樹：発話交替シミュ
レーションシステム ARABAHIKA -人間観察に基づく自律的発話交替エージェントの提案 -，インタラクション 2007 (2007).
20) Julius: http://julius.sourceforge.jp/.