The 23rd Annual Conference of the Japanese Society for Artificial Intelligence, 2009

擬人化エージェントの発話交替マインドモデル
Turn-taking Model based on Utterance Mind in Conversation for Animated Agents
湯浅 将英
Masahide Yuasa∗1

東京電機大学 情報環境学部

School of Information Environment

In this paper, we describe a turn-taking model in conversation and our approach to build the model. To build themodel, we analyzed eye-gaze and turn-taking behaviors of humans during actual conversations. By the analysis, wefound that a hearer expressed what he/she wanted to start to speak or what he/she wanted the other participants
to speak, by using their facial expressions, gaze behaviors and head orientations at the turn-taking in conversation.
And then, we used the model based on the analysis for the several experiments using the animated agents. By
controlling the animated agents’ behaviors, we can conduct the experiments to confirm the model and investigate
the human behaviors. Based on the experimental results, we propose a new turn-taking model in conversation.
The model will be useful to develop animated agents and robots that communicate smoothly with us.

1.

2.

はじめに

本研究のアプローチ

本研究では，人の発話交替の仕組みを解明するため，(1) 実
際の人同士の会話の観察，(2) 観察結果からの発話交替モデルの作成，(3) 発話交替モデルの機械への実装，(4) 人による評価，の (1)〜(4) までのプロセスを繰り返し，人の持つ発話交替モデルを詳細化していく．次節で，人の観察と得られた知見を述べる．

親しい人同士での会話（井戸端会議や何気ない日常会話）は，楽しい雰囲気のまま自然と会話の衝突が少なく，途切れることなく続いていく．話の順番を整理する司会者がいないにも関らず，お互いにストレスを感じることも少なく，自由に会話を楽しめる．このような楽しい会話では，人の視線や表情などを基に，次に話すべき人が自然に選択され会話が円滑に進むと考えられる [徳永 06]．また，人の発話交替（ある人が話を終えた後，次の人の話への切り替わるとき）には，単純に「誰かが話し終わったから，次に誰かが話す」という決まりだけでなく，「自分の話が終わるので誰かに話させよう」「話し手の話が終わりそうだから次に自分が話そう」等のそれぞれの人の「話したい／話してほしい」という「気持ちや態度」が会話の場に表明されているとも考えられる [徳永 07]．つまり，人の発話交替では「気持ちや態度（マインド）」を視線や表情などを用いてお互いに表明し，それらを相互に理解することで，円滑な会話が継続し，会話の楽しい雰囲気が保たれると推測される[徳永 07]．
しかしながら，発話交替での気持ちや態度については，これまでに十分な分析がされてきていない．発話交替における「話したい／話してほしい」という気持ちや態度を分析することで，人の発話交替の仕組みや会話の楽しい雰囲気，さらにその雰囲気が継続していく仕組み等の解明できる可能性がある．
そこで本研究では，「話したい／話してほしい」という気持ちや態度を含めた発話交替モデルの解明を目指すために，視線や表情，身振りなどの人に似た動作ができる擬人化エージェントを用いる．擬人化エージェントを段階的に人を模倣できるツールと考え，発話や視線を制御していくことで，発話交替モデルの解明ができると考える．
次章では，発話交替研究のアプローチと本研究における人の観察からの知見を述べる．さらに擬人化エージェントを用いた発話交替研究を概論する．それらを基に新たな発話交替モデルについて，考察を述べる．

2.1

人の発話交替の観察 [徳永 06, 徳永 07]

石崎，伝らは二人対話の会話コーパスの分析に基づき発話交替規則を述べ [石崎 01]，ターン構成単位の終了地点を移行適格場所（transition relevance place:TRP) では，言語的要素，パラ言語的要素，非言語的要素により予測され，円滑な発話交替がされると考えている．
この知見に基づき，親友同士の女性３人の会話を収録したビデオから発話交替を観測した [徳永 06]．話中のときと TRP 時において，話し手が発話終了時にどこを見ていたか（聞き手あるいは，それ以外）の視線に注目し，その回数を集計した．観察の結果，話し手の視線を受けないにもかかわらず，聞き手が発話を開始する場合も多いこと，TRP 時に話し手が他の人を見ていても，聞き手が話を始める場合があることが分かった．
さらに，これまでの研究により，人の発話交替には視線，表情，ジェスチャに込められる発話態度の表現（発話マインド表現）が重要であることがわかっている [徳永 06]．徳永らは，発話交替前に「発話立候補（自分が話したい）」や「発話懇願（自分は話さないので，是非話して欲しい）」「発話促進」「発話回避」などのカテゴリからなる発話マインドが表出されていることを明らかにするとともに，それらの発話マインドが発話交替に先立って誰が次に発話をするかを決める重要な要素であることを示した [徳永 06]．
さらに徳永らは，図 1 のように発話マインドを「自分の発話する意欲（話したい）」と「相手の発話を制御する意欲（話して欲しい）」の２つの軸に還元するマインドモデルを提案し，２軸上に表せるマインドを相互に表出，理解することで，発話が継続できるとした [徳永 07]．
以降では，人の観察の知見を基にしたエージェントの研究を述べる．まず，擬人化エージェントを用いた会話の雰囲気の研連絡先: 湯浅 将英, 東京電機大学 情報環境学部, 千葉県印西市
武西学園台 2-1200, yuasa@sie.dendai.ac.jp

1The 23rd Annual Conference of the Japanese Society for Artificial Intelligence, 2009

図 1: 発話マインドの位置づけ（「話したい／話したくない」
軸，「話して欲しい／黙って欲しい」軸 [徳永 07]

図 3: 発話交替パターンを説明した図．左側のエージェントが話し終わった後（左上：中央のエージェントを向き，中央のエージェント一人だけが話し出す発話交替，右上：中央のエージェントを向き，二人が同時に話し出す発話交替，左下：誰にも向かずに，沈黙がある発話交替）
レーションシステム ARABAHIKA を作成した∗1 ．
このシステムは，様々な発話交替のパターンを生成し観察できる．図 2 は，３体のエージェントが向き合う様子を示している．エージェントは人間の言語を話しているように聞こえる無意味音声（ARABAHIKA や UKUJARAH 等）を発話する．無意味語であってもエージェント会話を見る人からは３体のエージェントが話し合いをしているように見える．また，このシステムでは，擬人化エージェントの発話交替におけるパラメータを自在に調整できる．たとえば，「50 ％の確率で話し出す」，「話者に見られた人が 75 ％の確率で話し出す」ことを人同士の会話で再現することは困難であるが，エージェントであれば，それらを再現することが可能である．

図 2: 多人数発話交替シミュレーションシステム ARABAHIKA[木村 07, 湯浅 07]

3.2

究，また，擬人化エージェントと抽象的エージェントによる発話交替態度表現を説明する．

3.

多人数発話交替シミュレーションシステム
ARABAHIKA [木村 07, 湯浅 07]

3.1

ARABAHIKA の目的

３体エージェントによる評価実験 [木村 07]

エージェントにより擬似的に再現させた発話交替パターンについて，評価実験を実施した．実験の結果，発話交替パターンの違いが会話の雰囲気の生成に影響していることが分かった．
特に，二人が同時にしゃべりだす会話交替パターンと，沈黙がある会話交替パターン（図 3）では，会話の覚醒度の評価が大きく異なることが得られた．一方，会話参与者の表情はエージェント同士の親和性（快，不快）の評価に影響していることがわかった．今後，パラメータ設定を見直し，会話の雰囲気にどのように影響を与えるかを調べる予定である．

前章で述べたように，人の観察の結果より，話し手の視線を受けないにもかかわらず，聞き手が発話を開始する場合も多い
こと，話し手が他の人を見ていても，聞き手が話を始める場合があることが得られた．さらなる考察から，視線を受ける／受けないの頻度が変化する毎に，会話の場の雰囲気が変化する可能性も考えられた．誰がどのように話を始め，誰が話をやめるかという駆け引きが，会話の面白味や緊張感，満足感などを生み出し，それが「会話の雰囲気」として表現されると予想された．
一方，会話の場の雰囲気を具体的に定義し，雰囲気の感じ方を言葉にして説明することは大変難しく，さらにその雰囲気を感じるメカニズムも明らかとなっていない．
そこで，本研究では，発話交替が作る「会話の雰囲気」の生成メカニズムを明らかにするため，観察結果から視線行動の傾向を算出し，ベイジアンネットによる発話交替モデルを作成し，そのモデルを実装した複数のエージェントによるシミュ

3.3

ユーザと自律的発話交替エージェント [湯浅 07]

前節で述べた複数の発話交替エージェントから成るシステ
ムを改良し，視線入力装置を用いてエージェント１体をユーザと置き換えることで，ユーザがエージェント同士の発話交替に参加できるものを作成した [湯浅 07]．システムでは，「ユーザが視線を向けたエージェントが話し出す」ことだけでなく，「ユーザが視線を向けたエージェントとは別のエージェントが話し出す」ことや「ユーザが視線を向けても，エージェント同士の会話になかなか入れない」などの多様な発話交替状況をユーザは体験できる．体験した使用者からは，「視線を向けていないエージェントに割り込まれるときがあり，人同士の会話みたいで驚いた」「友達同士で起こるような，なかなか話に入∗1 エージェントへの実装には TVML を用いている [TVML]

2

The 23rd Annual Conference of the Japanese Society for Artificial Intelligence, 2009
りにくい状況がありイラついた」などの感想があり，従来までの発話交替モデルでは表現できなかった多様な発話交替状況の生成ができていることがわかった．今後はエージェントに個性を持たせた場合での検証と客観的な評価をしていく．

4.

擬人化エージェントによる発話交替の動作表現 [湯浅 08, 木村 09]

２章では，人の発話交替時には「話したい／話してほしい」というような「気持ち」が重要であることを述べた．ここでは発話交替時の「気持ち」の表出を擬人化エージェントの視線，表情，体の動きなどの組み合わせにより表現させることを述べる．本章では，人型のエージェントと抽象的な形状のエージェントによる発話交替表現について述べる．

4.1

図 4: 発話交替表現の例 [湯浅 08]

人型のエージェントによる発話交替表現 [湯浅 08]

人型のエージェントによる発話交替表現の作成には，実際の人の会話映像の観察と，Poggi らによる動作の意味の考察[Poggi 03] を基に検討した．実際の発話交替時の仕草（口をわずかに開く等）と同等のＣＧ作成が困難なものもあったため，様々なＣＧも用いて予備実験を繰り返すことで表現を絞った．
評価実験により，擬人化エージェントの視線，表情，体の仕草といった振る舞いを，ユーザが発話交替時にどのように解釈するかを調べた．結果，図 4 のようなエージェントの動作が発話交替表現を明確に示すものとして得られた．図 4 は，体を伸ばす動作が「話したい」，体を縮める動作が「話したくない」であることを示す．

4.2

抽象的な形状のエージェントによる発話交替表現[木村 09]
図 5: 抽象的な形状のエージェントによる発話交替表現の例[木村 09]

前節では，人型のエージェントの発話交替表現を述べた．これらの表現をエージェントやロボットが発話交替に用いることで，会話において話すべきか，そうでないかの判断するエージェントやロボットができると考えられる．
しかしながら，これらの発話交替表現は人型のエージェントにより得られたものであり，別の形状（動物型や機械の形のエージェントやロボットなど）の場合でも利用できるとは限らず，さらに別の非言語動作表現に置き換えて表現できる可能性もあるが，それは調べられていない．２章で述べたように，人の観察結果から，発話交替には「自分の発話する意欲（話したい）」と「相手の発話を制御する意欲（話して欲しい）」の２つの軸に還元するマインドモデルが提案されている．よって，２つの軸のそれぞれに対応する発話交替表現のルールがある可能性がある．これを詳しく調べるためには人型のエージェントだけでは不十分である．
そこで，本研究では抽象的な形状を持つエージェントを用い，エージェントの「話したい」，「相手に話して欲しい」という意図を示す抽象的な動作を探る．抽象的なエージェントとは，○や△といった単純図形で構成されたエージェントである．図5 のような二体のエージェントが登場するアニメーションを作成し，互いにコミュニケーションをすることを想定する．予備実験をもとに，正面と側面の差がつけやすい円盤をエージェン
トとし，ディスプレイ画面上で，向かい合うように並べることで，会話コミュニケーションをしているように見立てた．

手に対する要求のみ（話してほしい／黙ってほしい）をあらわすことが明らかになった．今後は動かす図形の抽象度を上げ，それによりコミュニケーションに必要な形状と動作を探っていく．

5.

考察

5.1

人の発話交替の仕組み

以上のように，人の発話交替の仕組みを調べるため，２章で述べたプロセスに従いつつ，研究を進めている．現在，擬人化エージェントをアバタに置き換えた発話交替アバタシステムによる発話交替表現の検証 [湯浅 09] や，脳活動計測から発話交替モデルを検証，ロボットによる評価も準備している．
人の発話交替の仕組みは，人の「話したい／話してほしい」という発話交替態度を示すだけでなく，自分と他者とのコミュニケーションのための基本モデルとなる可能性がある．たとえば，会話コミュニケーションでは，自身の欲求である「話したい」の度合と相手への要求である「話してほしい」の度合があり，自分が適度に話し，相手にも適度に話してもらうというバランスを保つことで，お互いの伝え合いやわかりあいができていると考えられる．会話だけでなく，相互にバランスの良いやり取りがされるのが人同士のコミュニケーションと考えられる．このことも含め，今後，さらにモデルの検証を進めていく．
本研究で用いているアプローチは，人間中心デザインの概念を基にした，人の観察，モデル化，実装，評価，そしてその過程の繰り返しである．人と機械とのインタラクションのデザイ

実験より，円盤の伸び縮みは主に自身の意欲（話したい／話したくない）を伝えるがそれだけでなく，相手に話してほしいがどうかを伝えることが明らかになった．また，手の動きは相3

The 23rd Annual Conference of the Japanese Society for Artificial Intelligence, 2009
[木村 09] 木村 幸士, 湯浅 将英, 武川 直樹：○△□の語らい– エージェントの形状と動作の抽象的表現 –, 情報処理学会
研究報告 2009-HCI-132, Vol. 2009, No. 19, pp. 153–160(2009)

ンには，再モデル化のサイクルが理想的な細かさで手早く調整できること，何度も繰り返しても問題が無いことと考える．擬
人化エージェントは，人間中心デザインに基づくインタフェー
スやインタラクションデザインをする際のその有効なツールであると考える．
本研究の目的は，人の発話交替の仕組みの解明であるが，本アプローチにより，人と機械（エージェントやロボット）の間で「話したい／話してほしい」という気持ちが通じる発話交替の実現 [湯浅 08, 湯浅 09] や，さらに新たなコミュニケーション手段を導くことができる可能性がある．

6.

まとめ

人の「話したい／話してほしい」という気持ちや態度を含む発話交替モデルの仕組みを探るために，視線や表情，身振りなどを段階的に人を模倣できる擬人化エージェントを用いた．
本稿では，これまでの発話交替モデルを用いた擬人化エージェントの研究を概論した．擬人化エージェントを用いることで，人の発話交替やコミュニケーションの仕組みが解明できると考える．

参考文献[石崎 01] 石崎 雅人, 伝 康晴：談話と対話, 東京大学出版会(2001)[Poggi 03] Poggi, I.,
Pelachaud, C.,
and Caldognetto, E. M.: Gestural mind markers in ECAs,
AAMAS 2003, pp. 1098–1099 (2003)[徳永 06] 徳永 弘子, 湯浅 将英, 武川 直樹：３人会話における発話交替時の視線行動分析 - 聞き手の立場から見た発話，非発話戦略 -, 信学技報告 HCS2006-45, pp. 23–28 (2006)[TVML] TVML, : http://www.nhk.or.jp/strl/tvml/[湯浅 07] 湯浅 将英, 徳永 弘子, 武川 直樹：発話交替シミュ
レーションシステム ARABAHIKA -人間観察に基づく自律的発話交替エージェントの提案 -, インタラクション 2007
(2007)[湯浅 08] 湯浅 将英, 徳永 弘子, 武川 直樹：発話マインドに基づく発話交替モデル–気持ちが読める会話インタフェースを目指して –, インタ
ラクション 2008 (2008)[湯浅 09] 湯浅 将英, 徳永 弘子, 武川 直樹：発話交替マインドを伝えるアバタ会話システム−人と機械での気持ちの通じる対話を目指して−, 情報処理学会インタラクション 2009
論文集, pp. 23–24 (2009)[徳永 07] 徳永 弘子, 湯浅 将英, 武川 直樹：３人会話の発話交替における視線行動と発話マインド分析–聞き手の立場から見た発話・非発話の戦略–, 信学会 HCS, 映像情報メディア
合同研究会, フォーラム顔学 2007 第 12 回日本顔学会, pp.
7–12 (2007)[木村 07] 木村 幸士, 湯浅 将英, 武川 直樹：多人数エージェントによる会話の雰囲気生成 - 文字ばっかり読んでないで空気読め -, HAI シンポジウム 2007 (2007)4