抽象エージェントを用いた発話交替時の仕草モデルの作成
Building an Utterance Attitude Models with Turn-takings
using Abstract Animated Agent湯浅将英 1

武川直樹 1Masahide Yuasa1 and Naoki Mukawa1
11

東京電機大学 情報環境学部
School of Information Environment, Tokyo Denki University

Abstract: Human communication often relies on nonverbal behavior, such as facial expressions, body
posture, and gaze behavior, to convey our attitude. In this paper, we apply various nonverbal behaviors toan abstract animated agent that mimics human conversational turn-taking. This allows us to investigate
the relationship between different nonverbal behaviors and attitudes during communication. Subjectiveevaluations show that the agents' nonverbal expressions are understandable and we find that several
behaviors contribute to participants' attitude when starting to speak, and also their reaction when
formulating an idea. Based on our results, we propose a turn-taking model that shows we comprehendverbal information as well as various types of nonverbal behavior, such as starting to speak, starting tolisten, coming up with an idea, or having no ideas, in most instances of conversation.

1 はじめに人には生来「皆と協力する」という対等性や社会的協力性が備わっていると考えられ，人を人たらしめる重要な原理と考えられる[1]．日常の会話においても人同士は楽しく豊かに会話できるよう社会的な協力をしていると考えられる．文化人類学における会話[2]や言語研究[3]においても，人はなるべく協力して会話し，平等に話せるようにしているという知見がある．
協力した会話を進めるためには「次に誰に話してもらおうか」といった会話場の変化に対する予想も必要となってくる．人は会話場において言語だけでなく周囲の人の非言語的な振る舞いから「誰が話す素振りを見せているか」をお互いに予想しており，次に誰が話すべきかの会話状況が作られると考えられる．たとえば，話し手が話しているときや話を終える前などに，「ぜひ話して会話を盛り上げたい」「いまは話を譲りたい」などの心的態度を表情や視線，体の仕草で表現，表出されていると考えられる[4]．
このように会話場の変化を予想するために，会話参加者同士で表出される表情や仕草表現から心的態度を常に知ることが必要である．人の会話場では適宜表出される心的態度の変化をお互いにたえず予想し続けるといった継続的なインタラクションが作り出され，誰しもが満足して話せる楽しい会話場が作られていると考える．
しかしながら，会話における心的態度を人はどのように表現し，また人にどのように理解されているのか，そのルールや仕組みは詳しく解明されていな
い．会話における心的態度の表現やその理解の仕組みを探ることで，これまでに明確になっていなかった多人数インタラクションの認知構造も解明できる見込みがある．
そこで本研究では，会話における心的態度表現とその理解の仕組みを示すインタラクションモデルの作成を目指す．本研究では顔や身体を大部分に省略した抽象的な形状のエージェント[5,6,7]で仕草表現を作成することで態度と理解の仕組みを検証する．
抽象表現は簡単な要素のみで表現しているにも関わらず，人がその意味を十分に認知・理解できる表現である．抽象エージェントの利用は，単純で説明力があるモデルの作成や構造を知ることに有用であると考えられ，コミュニケーションの認知モデルや構造を知ることにも有用であると考える．本研究で得られた知見は，ロボットやエージェントに組み込むことで，ユーザにとって円滑に対話できるヒューマンインタフェースとなる見込みがある．
本稿では，まず我々が想定する対話におけるインタラクションモデルを説明する．それらに基づき抽象エージェントの形状と動作を述べる．我々はこれまでにも抽象エージェントを提案してきたが[5,6]，その相違点を述べるとともに抽象エージェントの仕草作成の根拠を説明する．次に実験により，人が抽象エージェントの諸動作を見たときの解釈と発話志向態度の対応を述べる．実験から得られた評価次元から人が会話中に仕草を見たときの解釈のモデルを考察し，会話中の人の仕草と態度について議論する．

2．先行研究2.1 発話志向態度のその分類
Sacks は発話交替の研究において発話交替ルールを提案しており[8]，その中で，「現話者が次の話者を選ぶ場合，次の話者は話す権利を得て，次に話す義務を負う」，「最初に口を開いた話者が，その権利を得る」と述べている．
本研究では，Sacks らのルールのように言語（名指し），視線や顔向きの方向情報のみに依存した発話交替だけでなく，「話したい」「話してほしい」などの発話志向態度を表情や視線，体の仕草で多彩に表現していると考える[4]．発話志向態度とは，発話交替時の「話したい・聞きたい」「話してほしい・話してほしくない」といった意図や意欲の表出である．発話志向態度を視線や体躯の動きで表現することで，会話参与者は，誰が話したいのか，聞きたいのか，話してほしいのか，聞いてほしいのかをあらかじめ予測できる．この予測により同時に話しだすことが無く会話が円滑化され，楽しい会話の場ができあがる．
これまでに実際の複数人会話を観察し，発話交替前の態度を分類し発話志向態度のモデル化を試みられている[4]．それによると，人が発話交替前に表出する発話志向態度は，それまでの発話の流れや個人の持つ意図，主張等によって，「話したい／話したくない」，「聞きたい／聞きたくない」に分類されるとしている．本研究でも，発話交替のときにこれらの発話志向態度があるとする．しかしながら，従来までの研究で発話志向態度の分類がなされているが，それに伴う発話志向態度の非言語表出がどのようなルールがあるかは定かではない．発話志向態度の表出原理を定めることが本研究の狙いである．

3. 会話中の態度を考慮したインタラクションモデル
前述のように発話交替に伴う発話志向態度の非言語表出のルールや表出原理が探ることが本研究の目標である．これを図１で説明する．図１(a)は言語による単純な発話交替を示し態度はない．一方，(b)は心的態度の変化が適宜表出され，お互いにそれらを理解して進められる継続的なインタラクションを示している．言語情報とは別に態度の表出，理解が絶えず継続されていることを示す．本研究ではこの図1(b)のコンセプトに従い，多人数間でたえず態度が表出されまた理解され，さらにそれが繰り返されていると考える．なお，本報告では態度の一部である発話志向態度の表出を図 1(c)に従い検証する．
図 1(c)
では，話し手の発話が終わる直前にて，聞き手から発話志向態度が表出されることを示している．この発話志向態度の表出と理解にどのようなルールがあるかを検討する．さらに様々な態度や異なるタイミングで表出される態度を組み込んだ実験を重ねることで，図 1(b)を検証していく．

図１ 二者間での言語情報と態度表出のインタラクション

4. 発話志向態度と仕草表現
4.1 抽象エージェントの形状と動作
我々はこれまでの研究で円盤状や球型の体型を持つエージェントを用いて発話志向態度の仕草を検証してきた[5,6]．球型のエージェントでは，瞳を模した部分（黒い円形部分）を付与し，この部分の大きさが変化する抽象エージェントを用いた．これにより，瞳が大きい／小さいを暗示させ，「聞きたい／聞きたくない」の態度を表現していた．
しかしながら，瞳の表現部分で「聞きたい／聞きたくない」という態度をある程度表現できることは確かめられたものの，瞳という具体的な身体器官で表現するだけでなく，さらに一般的，抽象的に仕草を表現できることが望ましい．そこで今回は瞳の黒部分の大きさの変化は用いず，身体による表現（後述する接近／回避）を試すこととした．黒部分については，黄色く点滅することで発話を暗示させることとした．
よって，抽象エージェントの形状は下記とする．
（１）シンプルに主体を表現するため，球体を主体の本体とする．
（２）本体は黒丸部分を持ち，この部分が点滅することで発話を暗示する．
（３）手腕の仕草も用いるとする．手腕により，典型的に相手に対する態度を示すことができ，受諾や拒絶，接近，敬遠等の表現を明確にできる．
次に，発話志向態度を示す抽象エージェントの動作を複数作成する．
「話したい／話したくない」を相手に示す表現は，話す意欲やポテンシャルを表現するものであり，覚醒性（活発性）や積極性を示すと考えられる．ここでは内部的な意欲や意図を出す表現できるものとして，体の伸縮表現を用いることとする．
「聞きたい／聞きたくない」を相手に示す表現は，自ら相手からの情報を入れたいように働きかけるような所作で，接近性や回避性とする．人の仕草表現には接近や拒絶の評価次元が存在することを Meijerら[9]や James ら[10]は述べており，聞きたいことがあるときには近づく，聞きたくないと避けるなどが仕草と対応できると考える．
身体だけではなく，相手の発話を促したり制止したりするための手の表現も用意する．
「話したい／話したくない」という所作は，相手を呼び寄せる，相手を追い払うといった手による接近性や回避性の仕草とする．また「聞きたい／聞きたくない」という態度を受け入れる／受け入れまいとする手の表現は，受容性，拒絶性を示す表現が対応できると考える．
人の仕草表現には受容性，拒絶性の評価次元が存在することを Meijer らは述べられており，James らの研究では，「掌を上に向けることは，受入を示す」などの知見がある．会話中に人同士が掌を上にする，手で遮るなどの動作をすることで，相手の発話を開受諾する，拒絶することもしていると経験的に考えられることから，これらの表現を用いることとする．
以上のエージェントの動作表現を図２に示す．

4.2 エージェントの動作デザイン
図３を用いて，インタラクションのデザインを説明する．図３のように二体のエージェントがお互いにコミュニケーションする場面を想定したアニメーションを作成する．左側のエージェントが話し手，右は聞き手とする．図３(1)の初期状態から，図３(2)のように左側のエージェントの黒丸部分が点滅動作をする．これは発話をしていることを暗示する．右のエージェントは左の発話を聞きながら，自分が相手に対して「話したい／聞きたい」などの発話志向態度を表出する．この手順は人の発話交替を模しており，人がエージェントの諸動作を見たときに発話志向態度のいずれかに解釈されるものと考える．

図２，作成した抽象エージェントの表現

（１）

（２）

（３）

図３ 抽象エージェントの動作の流れ（１）映像開始 (２)左側の黒丸が点滅 （３）右側が動作（この例では，体が上方に伸びる）

5 アンケート実験・結果

図４

因子得点で配置した抽象エージェント動作（横軸：第 1 因子，縦軸：第 2 因子）

図５

因子得点で配置した抽象エージェント動作（横軸：第 2 因子，縦軸：第 3 因子）

図６

因子得点で配置した抽象エージェント動作（横軸：第 1 因子，縦軸：第 3 因子）

作成したエージェントの動作を見て，下記の会話に関する言語表現 22 項目で 5 段階で評価した．
ふと思いついた←→思いつきはない
ふとひらめいた←→ひらめきはない
ふと浮かんだ←→浮かぶものはない
話に関心がある←→話に関心がない
話が気になる←→話が気にならない話にひかれる←→話にひかれない話が面白い←→話がつまらない話に熱中←→話に退屈
話したい←→話したくない
聞きたい←→聞きたくない
言いたい←→言いたいことがない
主張したい←→遠慮したい
伝えたい←→伝えたいことがない話を知りたい←→話を知りたくない
相手に聞かせたい←→相手に聞かせたくない
相手に話させたい←→相手に話させたくない
相手を黙らせる←→相手に言ってもらう
相手を止めさせる←→相手に続けてもらう
相手を静かにさせる←→相手に盛り上げてもらう
相手を引き入れたい←→相手を追い払いたい
相手を巻き込みたい←→相手から逃げ切りたい
話を引き出したい←→話を突っぱねたい

アンケート評価実験（大学生 12 名）による結果を因子分析（プロマックス回転）したところ，第１因子「聞きたい－聞きたくない」，第２因子「話したい－話したくない」，第３因子「ふと話を思いつく－思いつきはない」と解釈された（図 4～6 に因子得点ごとに仕草を配置した）．もっとも聞きたいと解釈された動作は近づく動作，聞きたくない動作は追い払う動作であり，相手との距離関係を示す動作が聞きたい／聞きたくないと対応した．もっとも話したい動
作は，手で呼び寄せる動作であり，追い払う動作が聞きたくない動作であるとともに話したくないことも示す．また，伸縮動作が聞きたいかつ話したいといったコミュニケーションしたいこと（会話に寄与したいこと）の度合いを示すことが分かった．

6．考察
実験結果を基に発話志向態度とそれに伴う仕草の関係をシンプルに示したモデルを図７に示す．話したい／話したくないが伸縮の動作，聞きたい／聞きたくないが接近／回避に対応するとしている．t 検定
により動作間の因子得点の差を検証した．因子２「話したい／話したくない」の「伸びる」と「縮む」の因子得点間について有意差が見られ（p < .01）
，因子
１「聞きたい／聞きたくない」の「近づく」と「遠のく」の因子得点間についても有意差が見られた（p< .01）
．これらより，図 7 における仕草を用いることで話したいと話したくない，聞きたいと聞きたくないを区別し態度を表現できるといえる．なお，各動作については“「追い払う動作」が聞きたくないとともに話したくないことにもみられる”など，複数に解釈がされる場合があり，今後実験を追加し詳細に調べる必要がある．

図７

発話志向態度と仕草の関係モデル

さらに今回で得られた有用な点を述べる．本実験は先行研究に基づき会話に関与する仕草を作成し，人手で評価してもらったものであるが，「聞きたい－聞きたくない」「話したい－話したくない」といった発話志向態度に対応した因子が得られており，人は会話中に仕草を見たときに，話したいか聞きたいかといった判断（判別）をしていることがわかる．クリフォードらによる研究[11]では，人はメディアに接したときに，良し悪し（ポジティブかネガティブ）を瞬時に判断することが述べられている．また，ラッセルらの研究[12]により，人は表情判断の機能は快／不快と覚醒度の評価次元で分類できることを述べている．今回作成した会話の仕草だけでなく，人は他の発話中の仕草についても「話したい／話したくない」「聞きたい／聞きたくない」の評価次元で整理できる可能性が考えられる．
さらに因子分析では「ふと思いついた」「ふと浮かんだ」に関連する因子も抽出されている．これからは，“人が会話中にふと何か言いたいことを思いつくことがあり，相手は何か思いついたのだろう」”と理解される過程があることが予想される．他に，たとえば，アイディアが浮ぶこと，考えを持つこと（逆にネガティブなことが浮ぶこと）等，人の内部に発生する変化を人は仕草から捉えようとしている可能性がある．つまり，会話相手が話したい／話したくないといった態度を理解しているのみならず，会話中にたえず相手の状況や態度を確認し，“相手が話すことが浮かんだ／浮かばなかった”こともお互いに確認しあっている可能性がある．これは，図１(b)で示した“言語情報だけでなく態度を継続的にインタラクションさせながら会話が進行していること”に対応すると考えられる．今回の実験では発話志向態度に注目したため，発話の最後のみに注目していた．
しかしエージェントで表現される態度から，“アイディアが浮かんだ／浮かんでいない”等の判断をしており，それが因子として現れた可能性がある．
また，今回の実験ではすべて同じ発話交替タイミングを想定し仕草を表出させ評価しているため，図1(b)のように会話中の仕草であるか発話交替中であるかの区別はしていない．今後，仕草の表出タイミングについて会話中の態度と発話交替中の態度を区別するなどの時間も考慮した仕草表現を考えていく
ことで継続的な発話と発話交替時における態度と仕草のインタラクションモデルが作成できる可能性がある．たとえば，発話末のタイミングを予測させるように無意味な音声を使用し，発話末に至る前と後の表出を比較することで理解が変わる可能性がある．
さらに今回は聞き手のみの態度しか考慮できなかったが，話し手も聞き手の双方がお互いに態度を出し合うような実験による検証も必要である．
現在音声を加えた新しい実験について準備を進めており，会話における人の態度を示す詳細な仕草モデルのデザインを目指していく．

7．まとめ
会話中に人がお互いに態度を表出しそれが理解されて会話が継続しているとしたモデルを提案し，その検証のために抽象エージェントを用いた．発話志
向態度の基本動作を抽象エージェントに実装し，仕草と解釈の関係を調べた．実験結果を基に発話志向

態度と仕草の関係モデルを提案した．今後は様々な態度を用いた実験により詳細に対話の仕組みを探る．
将来，擬人化エージェントやロボットなどの「話したい」「聞きたい」の表情や仕草の作成に応用していく．

謝辞
本研究の一部は文部科学省科学研究費補助金若手研究(B)24700124, 基盤研究(C)23500158，文部科学省新学術領域研究「学際的研究による顔認知メカニズムの解明」（課題番号 23119723），東京電機大学総合研
究所研究 Q12J-01 による援助を得た．

参考文献[１] Nowak

MA.:

Evolving

cooperation,

JournalofTheoretical Biology, Vol 299, pp. 1-8 (2012)[２] 菅原, サンの会話構造：長い語りを中心に, 田中・掛谷編「ヒトの自然誌」,平凡社, pp. 107-135, (1991)[３] Paul Grice:Studies in the Way of Words, Harvard U.P.,(1989)[４] Sacks, H., Schegloff, E. and Jefferson, G.A.: Simplest
systematics for the organisation of turn-taking inconversation, Language 50, 4, pp. 696-735, (1974)[５] 徳永，湯浅，寺井，武川: 3 人会話の話者交替における発話志向態度分析 － 参与者の発話志向の「場」
が つ く る 話 者 交 替 － , 信 学 技 報 HCS2009-63,pp.31-36, (2009)[６] 湯浅： かんたんにすると，みえてくる －抽象化・抽象キャラクタによる人モデル化研究－, 電子情報通信学会 HCS2009-79, pp. 39-40, (2010)[７] 木村, 湯浅, 徳永，武川: ◎と◎の語らい, HAI シンポ
ジウム 2009, (2009)[８] 木村, 湯浅, 武川: ○△□の語らい, 情処研究報告2009-HCI-132, Vol.2009, No.19, pp. 153-160, (2009)[９] Meijer, M.: The contribution of general features of body
movement to the attribution of emotions, Journal ofNonverbal Behavior, Vol. 13, No. 4, pp.247-268, (1989)[１０]James, W. T.: A study of the expression of bodily

posture.

JournalofGeneral

Psychology,

Vol

7,

pp.405-437, (1932)[１１]

Reeves, Byron. and Nass, Clifford.:人はなぜコン

ピュータを人間として扱うか，翔泳社，(2001)[１２]

Russell, J.: Reading emotions from and into faces:

Resurrectiongadimensional-contextual

Cambridge University Press (1997).

perspective,