2023年度日本認知科学会第40回大会

P1-010

アンドロイドロボットによる身体・音声表現からの高次感情の知覚
Perception of Complex Emotion from an Android Robot’s Body andVocal Expressions
山本 寿子1 2，小川 浩平3，窪田 智徳3，勝間 萌衣1，山﨑 美鈴1，
港 隆史4，石黒 浩5，田中 章浩1
Hisako W. Yamamoto, Kohei Ogawa, Tomonori Kubota, Moi Katsuma, Misuzu Yamazaki,
Takashi Minato, Hiroshi Ishiguro, Akihiro Tanaka
1東京女子大学，2立命館大学，3名古屋大学，4理化学研究所，5大阪大学

Tokyo Woman’s Christian University, Ritsumeikan University, Nagoya University, RIKEN, Osaka University
sakoyama@fc.ritsumei.ac.jp

Abstract

視覚情報と聴覚情報で異なる基本感情を表出すること

本研究では，異なる基本感情を視聴覚で組み合わせることで高次感情が知覚されるか，文脈に応じて異なる高次感情が知覚されるかについて，アンドロイドロボットを用いて検討した．対話中にアンドロイドが表現した感情を評定する実験の結果，恐怖の身体表現と悲しみ声の組み合わせから高次感情「恥」が知覚された．
一方，文脈の違いで読み取られる高次感情に違いはみられないことが示された．またこの結果からアンドロイドロボットが高次感情をも表現できることも示唆された．
Keywords ―interaction

Emotion, Android,で高次感情が知覚されるか，また文脈情報の違いによって異なる高次感情が知覚されるかを検討する．我々はこの検討にあたり，ヒトに酷似したアンドロイドロボットに着目した．生身の人間が異なる感情を同時に異なるチャンネルから表出するのは容易ではなく，また，ビデオのような事前録画を呈示する方法では対面ほどの社会的存在感を示せないという指摘もある[2]．
高次感情の知覚の検討では対面コミュニケーション場

Human-robot

面における検討が重要であるため，人間の表出では都度異なる表現になってしまうというこの欠点を克服す1.

るためには，異なるモダリティから異なる感情を表出はじめに我々は対面コミュニケーションにおいて様々な感情でき，対面コミュニケーションにおいても同じ表現をを示す．この種類として，恐怖や悲しみ，喜びといった再現できるアンドロイドロボットを利用することが有

基本六感情に加え，自分の行為を恥じる感情や，他者に用である．さらにロボット開発の観点からも，従来基本対して申し訳なく思う罪悪感といった高次感情の存在感情で検討されてきたアンドロイドロボットの感情表も指摘されている．これらの高次感情は，他者からの視現の可能性を高次感情に広げる意義は大きいだろう．
本研究の目的は，表情および身体表現を操作できる点の考慮を通して生じると考えられている．
基本感情の知覚メカニズムは，顔, 身体表現，音声とアンドロイドロボットと音声を用いた対話場面を通しいった様々なモダリティから検討されてきた．一方，高て，ヒトがアンドロイドから高次感情を知覚するかを次感情についての検討は少なく，統一した見解が得ら検討することである．検討する仮説は（１）ヒトはアンれていない．ここで，Takagi ら[1]が報告している，基ドロイドが表出した高次感情（恥・罪悪感）を知覚でき本感情の組み合わせで高次感情が表現される可能性にる，（２）ヒトはアンドロイドによる基本感情の組み合着目する．この研究では，顔の映像と声を組み合わせてわせから高次感情（恥・罪悪感）を知覚する（Takagi「恥」「罪悪感」の表現を作成するよう指示されると，らの研究[1]に基づいた組み合わせ），さらに（３）コミいずれも恐怖の顔と悲しみの声が組み合わせられるこュニケーション上の文脈情報として，感情表出中の発とが多かった．つまり，視聴覚で異なる基本感情が出さ言が自己に向けられている「自己言及」であるときに恥れると，高次感情として読み取られる可能性がある．たが，「他者言及」であるときに罪悪感が知覚されやすい，

だしこの研究の限界として，恥と罪悪感の表出の区別の 3 つを立てた．さらに，恥を表出しているヒトに対が明らかでないことがある．これらを切り分ける一つして印象が回復する[3]という知見をふまえ，（４）恥をの可能性に，「誰に対して伝えているか」という対面コ表出しているアンドロイドを見ると，アンドロイドにミュニケーション中の文脈情報が考えられる。

対する信頼感・親しみやすさが向上するという 4 つ目の仮説についても併せて検討する．

本研究では，対面コミュニケーション場面において，80

2023年度日本認知科学会第40回大会

2.

P1-010

方法で「悲しみ」・身体表現「恐怖」を表出）を用意し【概要】参加者はアンドロイドと簡単な会話（本研究でた．音声はアナウンスサークルに所属する東京女子大は「シナリオ」とする）を行った．この最中にアンドロ学の学生が読み上げて録音したものを，身体表現はア

イドはセリフを言い間違える失敗をし，その際，顔の表ンドロイド U の上半身（顔・胴体）の動きによって情および上半身の動き（以下「身体表現」）と声の韻律表現したものを使用した（図 2）．これらの感情表現（以下「音声」）で感情の表出をした．また，この際の（音声のみ，身体表現のみ，これらの組み合わせ）はセリフは自己言及・他者言及のいずれかの文脈で発話予備調査において正答率が高いものを採用した．またされた．参加者はアンドロイドが表していたと思う感

シナリオも予備調査の結果に基づいて選定した．感情

情について回答し，親しみと信頼感についての評価を表現と文脈は参加者一人あたりいずれか一種類を行行った．

う，参加者間要因の計画であった．

【参加者】日本科学未来館の来館者が参加し，196 名（男性 96 名，女性 100 名）のデータを分析に使用した．分析対象者の年齢は平均 31.8 歳（レンジ：13-67歳）であった．参加した全員から直筆の同意書（18 歳未満の参加者は保護者による同意書）を得た．

図 1 実験室内のレイアウト【装置】実験室内のレイアウトを図 1 に示す．参加者

恥

非恥（怒り）

擬似恥（恐怖）と会話し身体表現を表出するアンドロイドとして，ア

図 2 アンドロイドの身体表現

ンドロイド U[4]を使用した．アンドロイドの音声は，（上・可動部分、下・各感情の表現）

腹部に服で隠す形で設置したスピーカ(Jabra, Speak【質問項目】会話の開始前に，参加者は事前アンケー750)から呈示した．アンドロイドの身体動作は，音声にト（7 件法の印象アンケート，「はい・いいえ」から基づいた自然なリップシンクや頭部動作を生成する選択する精神機能アンケート）に回答した．会話の合Sakai らのシステム[5]を使用した．また図 1 中の位置間には，信頼感についての問，親しみやすさに関するに設置したセンサ（Microsoft, Kinect v2）を用いたシ

問，アンドロイドがどの程度その感情を表していたとステムにより，アンドロイドは実験中に参加者と目を思うか（3 項目，恥・怒り・罪悪感）に，スライドバ合わせるようにした．

ーによって 0-100 までの値で回答させた．怒りを用いアンドロイドと参加者の会話は，図 1 中の実験者 2ているのは，非恥条件で怒りの表出を用いているためが先述のシナリオに沿って，アンドロイドを操作してである．

発話させることで行った．実験者 2 は，オンラインミ【手続き】実験は日本科学未来館の研究室で，対面形式ーティングツール Zoom を用いて，参加者の発話内で実施した．参加者はアンドロイドとの対面前にデモ

容とアンドロイドの動作を確認しながら操作した．まグラフィック項目と印象・精神機能アンケートに回答

た，参加者に回答を求める質問項目は実験用プラットし，実験スペースに入室した．

フォーム Gorilla で作成・提示し，回答する端末には実験室内では，参加者はアンドロイド U と机を挟iPad を使用した．

んで向かい合って座った．実験者 2（操作者）は衝立を【刺激】アンドロイドが表現する感情の種類として，挟んで参加者からは見えない位置でアンドロイドを操

恥（音声・身体表現ともに「恥」を表出），非恥（音作した．

声・身体表現ともに「怒り」を表出），疑似恥（音声

参加者は着席後，シナリオに沿い，アンドロイドと会

812023年度日本認知科学会第40回大会

P1-010話を行った（表 1）．まずアンドロイドは参加者に対し恥条件より怒りの差分値が大きく(ps <.001)，アンドロて挨拶を行った後，質問した際には短く簡潔に答える

イドの怒りの表出に対して怒りが適切に知覚されていようにと教示を行った．次に，会話 1 を行い，その後ることが示された．また文脈による差は有意ではなか

参加者は iPad で 1 回目のアンケートに回答した．回った (p = .140)．

答中は参加者とアンドロイドの間に目隠し用の衝立を罪悪感の知覚 罪悪感の差分値（図 3c）については，置き，アンドロイドが視界に入らないようにした．回答

感情表現（p = .201），文脈のいずれも(p = .320)，違い

終了後，参加者は再びアンドロイドと対面し会話 2 をは有意ではなかった．

行った．その中で，アンドロイドはセリフを言い間違【アンドロイドに対する信頼感と親しみやすさ】

え，その際に恥・非恥・擬似恥いずれかの感情表出を，アンドロイドに対する信頼感・親しみやすさについて自己言及（独り言のように自分に対して言っている）

も，アンドロイドの感情表出後と表出を見ていない段

か，他者言及（相手を意識して言っている）のいずれか

階での評定値の差分値を使用し，Kruskal-Wallis 検定の文脈において，行った．その後，再び参加者とアンドおよび事後検定に Dunn 検定を用いた．

ロイドの間に衝立を置き，参加者は iPad で 2 回目の信頼感 図 4a に記す．感情による差は有意ではなかっアンケートに回答した．

た (p = .873)．文脈による違いは有意傾向であった (p= .051)．

表 1 シナリオの例（例は実施時期が秋の場合）
概要
会話1

分岐

セリフ

共通1

(a)

秋になって涼しくなってきましたよね（中略）なるほど、そうなんですね。
（夏と回答）

夏は海に行ったり（中略）良いですよね。

（秋と回答）

秋はおいしい食べ物が（中略）良いですよね。

1回目質問紙 共通2

それではここで、アンケートに一度回答をお願いします。

会話2

アンケートの回答、ありがとうございました。

共通3

もう10月になって（中略）

自己言及

信 10
頼感 0の差 -10
分 -20値

他者言及-30

紅葉を見に行く予定はありますか？

恥なるほど、そうなんですね。
（言い間違えて感情表出）【あ、嚙んじゃった…】

他者言及条件【あ、嚙んじゃいましたね…】

擬似恥

自己言及
他者言及

恥

非恥

擬似恥（エラーバーは標準誤差）
親しみやすさ 親しみやすさの差分値（図 4b）につい失礼しました。未来館周辺でも綺麗な紅葉が見られますよ。
2回目質問紙 共通4

非恥

20

親 10
しみ 0
や -10
す
さ -20の差 -30分値

図 4 信頼感・親しみやすさの差分値平均

未来館のまわりの樹々は、秋になると色づいて綺麗にゃんで…
自己言及条件(b)20

あなたは夏と秋、どっちが好きですか？

それでは，ここでもう一度アンケートに回答をお願いします。て，感情表現による違いが有意であり（p < .001），多3.

重比較の結果，恥条件 (p = .029) および擬似恥条件(p結果< .001)に比べて，非恥条件では大きく親しみが低下し【アンドロイドに対する感情の知覚】アンドロイドがていた．文脈による違いは有意傾向であった (p = .064)．

表していると思う感情についての評定については，ア(a)ンドロイドの感情表出に対する各感情の評定値（2 回50

自己言及

40

他者言及

恥 30
評 20
定 10の差 0
分 -10値 -20目のアンケートの値）から、アンドロイドの感情表出を見ていない段階での各感情（恥・怒り・罪悪感）の評定値（1 回目のアンケートの値）を引いた差分値を使用した．以下の分析ではすべて差分値について Kruskal-

恥

非恥

擬似恥

Wallis 検定および事後検定に Dunn 検定を用いて，表(c)
50

自己言及

出感情（恥・非恥・疑似恥）による差を検討した．

罪 40
悪 30
感 20
評 10
定の 0
差 -10分 -20値

他者言及

恥の知覚 恥の差分値（図 3a）については感情表現による違いが有意であり（p < .001），多重比較の結果，恥条件および擬似恥条件では非恥条件より恥の差分値が大きく(ps < .001)，「アンドロイドが恥ずかしがって恥

非恥(b)
怒り
評定の差分値

50

自己言及

40

他者言及

30
20
100-10-20

恥非恥

擬似恥擬似恥図 3 感情評定の差分値平均（エラーバーは標準誤差）いる」と感じる評定が高いことが示された．一方，文脈による違いは有意ではなかった (p = .824)．

4.

怒りの知覚 非恥条件として用いた怒りの差分値（図考察3b）について，感情表現による違いが有意であり（pアンドロイドの「恥」評定について，非恥（ここでは< .001），多重比較の結果，非恥条件では恥条件・疑似怒り）の表出時に比べて，恥（声，身体表現ともに「恥」

822023年度日本認知科学会第40回大会

P1-010

評定が高い表出）を表出している時の方が評定値が高く，これまで基本感情の表出にとどまっていたアンドかったことから，ヒトはアンドロイドが表出した高次ロイドから恥という高次感情も表現できることを示し感情である恥を知覚できることが示された．さらに，恐たという点で工学的にも大きな意義を持つものである．

怖の身体表現と悲しみ声の組み合わせも同様に恥の評

基本感情というシンプルなアンドロイドの表出を組み定値が高かったことから，ヒトがアンドロイドによる合わせることによって，よりヒトの複雑な表現ができ基本感情の組み合わせからも，高次感情である恥を知ることは，アンドロイドの新たな可能性に繋がると考覚できることが示された．一方で，罪悪感の評定についえられる．さらにはこのようなアンドロイドの感情表ては表出による違いがみられなかった．したがって，出が受け止める人間の側の親しみを変化させるという（１）ヒトはアンドロイドが表出した高次感情（恥・罪結果も，今後，アンドロイドロボットをコミュニケーシ悪感）を知覚できる，（２）ヒトはアンドロイドによるョン場面で活用する上で有用な知見であると言えよう．

基本感情の組み合わせから高次感情（恥・罪悪感）を知参考文献覚する，という 2 つの仮説については，恥についてのみ支持された．また，各表現のいずれの評定においても文脈による差は見られず，（３）感情表出中の発言が自己に向けられている「自己言及」であるときに恥が，「他者言及」であるときに罪悪感が知覚されやすいという仮説は支持されなかった．
信頼感は，表出している感情についての違いが見られなかった．一方，親しみやすさについては，非恥（怒り）を示したときは大きく低下したものの，恥および疑似恥（悲しみ声×恐怖身体表現）では親しみの低下が抑えられることが明らかとなった．したがって，（４）
恥を表出しているアンドロイドを見ると，アンドロイドに対する信頼感・親しみやすさが向上するという仮説は，信頼感については支持されず，親しみについては「親しみが低下することを防ぐ」というように，部分的に支持された．
Takagi ら[1]が示していた「恐怖の見た目」と「悲しみ声」の組み合わせからの恥の知覚は，対面場面におい[1] Takagi, S., Miyazawa, S., Huis In’t Veld, E., de Gelder,
B., Hamano, Y., Tabei, K., & Tanaka, A. (2015).
“Comparison of multisensory display rules inexpressing complex emotions between cultures”,
Proceedings of the International Conference on Facial
Analysis, Animation, and Auditory-Visual Speech
Processing 2015.pp.57-62.
[2] Sakamoto, D., Kanda, T., Ono, T., Ishiguro, H., &Hagita, N. (2007) "Android as a Telecommunication
Medium with a Human-like Presence", HRI '07:
Proceedings of the ACM/IEEE international
conference on Human-robot interaction, pp.193–200.
[3] Dijk, C., de Jong, P. J., & Peters, M. L. (2009) “Theremedial value of blushing in the context oftransgressions and mishaps”, Emotion, Vol. 9, No. 2, pp.
287–291.
[4] 窪田智徳, 磯和 隆道, 小川 浩平, 石黒 浩 (2020)"人と共働する近接操作型アンドロイドロボットの開発と実店舗での検証", ヒューマンインタフェース学会論文誌, Vol.
22, No. 3, pp. 275-290.
[5] Sakai K, Minato T, Ishi C. T., & Ishiguro, H (2017)“Novel Speech Motion Generation by Modeling
Dynamics of Human Speech Production”, Front. Robot.
AI Vol. 4, No. 49. doi: 10.3389/frobt.2017.00049

謝辞ても生じることが明らかになった．この理由として，恐

この実験は日本科学未来館のイベントとして実施されました．本研究にご協力いただいた参加者の皆様，日本科学未来館のスタッフの皆様，対話知能プロジェクトの皆様，東京女子大学のボランティアスタッフの皆様・アルバイトスタッフの皆様に感謝申し上げます．
実験システムの一部には，株式会社国際電気通信基礎技術研究所研究員境くりま博士が実装したシステムを使用させていただきました．
この研究は東京女子大学に提出された卒業論文が元になっています．卒業論文の共著者であり，研究に多大な貢献をしてくださった山田和奈さんに厚くお礼申し上げます．
本研究は新学術領域研究 No.17H06345「トランスカルチャー状況下における顔身体学の構築 多文化をつなぐ顔と身体表現 」の助成を受けたものです。

怖の身体表現で少し俯く姿勢をとる，悲しみ声で音圧が低くなるといった物理的な性質が「恥」の表現と共通する可能性が考えられるが，そのメカニズムについては今後の検討が必要である．また，一方で，恥と罪悪感がコミュニケーションの文脈によって区別されるという仮説は支持されなかった．本研究の限界として，元々「罪悪感が高く評価される表出」を使っていないことから，罪悪感についての検討が恥に比べて不十分であることがある．恥と罪悪感の違いについては今後の検討が必要である．また，Takagi ら[1]では軽蔑，嫉妬も基本感情の組み合わせで表現されることも示されており，今後同様の方法での検討が期待される．
本研究は，基本感情の組み合わせから高次感情が知覚されることを示したという心理学的な意義だけでな83