情報処理学会 インタラクション 2019
IPSJ Interaction 20193P-84
2019/3/6

感情同調を用いた共感ロボットの実現手法の検討
黒野侑哉†1

スリーピァン ピーラヤー†3吉田怜司†2菅谷みどり†1†2

概要： 近年，日本ではホテルや医療・福祉施設など，様々な現場でコミュニケーションロボットが導入されている．
また，日本人のおよそ半数がこれらのロボットに対して強い利用意向や関心を示している．ロボットがコミュニケー
ション相手として人間に良い印象を与えることは重要であるが，どのように感情に同調するとより効果的ではあるかについては十分に検証されていない．そこで本研究は，相手の感情に同調することを「共感」と定義し，恣意的に変更可能である情報と恣意的に変更不能な情報の二つにロボットが同調した場合，どちらが人間に良い印象を与えるかを明らかにすることを目的とした．予備的な比較実験により課題抽出を行った結果について述べる．

1. 背景

有意な結果が得られ，感情同調によって，ロボットに対するポジティブな印象が強まることが示唆された[7]．また，近年，商業施設や医療・介護施設など様々な現場でコミ羽田，竹内らは人と CG 人物との共感が人にどのような影ュニケーションロボットが普及している．また，2015 年の響を与えるかを究明した．自身の心的状態が「angry」であ

総務省の調査結果では，コミュニケーションロボットの利る時，相手(CG 人物)の心的状態も「angry」である方が，孫用意向に関して，意向が強いという回答をした人の割合は輪同期の結果生じた援助行動回数が多く確認された．相手

約 50％であり[1]，比較的多くの人に利用意欲があることが自身の感情に近い感情を示すことにより，相手が CG 人がわかった．

物であっても人との間に親和動機が生まれ，社会的に友好

Breazeal らは，ロボットが社会性を持つように振る舞的な関係性を築くことが示唆された[8].しかし，人の感情

うには人間がもつ体の向きや，注視など社会的な振る舞いをいかに正確に計測するかについては十分な方法は示されのヒントを得ることが必要であるとし,表情により注視をていない．

示すロボットを提案した[2]．また，身体要素を持ち，これらを通じたインタラクションを実現するロボットも数多く

3. 課題・目的提案されている[3,4]. 一方，Jochen らは感情表現を行う

感情認識に関しては，既に音声や表情による手法が多く

ロ ボ ッ ト ROMAN を 開 発 し ， anger, disgust, fear,提案されている．池田らは，感情の識別手法として，画像happiness, sadness などの 6 つの感情を表現可能とした処理による表情認識を用いた手法と，生体情報を用いた感[5]．しかし，ロボット自身の感情表現を，何のコンテキス

情識別手法を比較し，生体情報を用いた手法の優位性を明トに対応して行うかについて十分に議論されていない．

らかにした[9].音声や表情など表出された感情は随意神経

我々は，人間同士のコミュニケーションにおいて重要と系である体性神経系が担っているため，恣意的に変更できされる「共感」は相互の信頼性や関係構築の向上に効果がる．これに対し，脈拍や脳波などの生体情報は不随意神経ある[6]，ことに着目した．ここで，「共感」とは相手の感系である自律神経により制御されているため，恣意的に変情に同調することと定義する．人と人のコミュニケーショ化することができないことが理由として考えられる．

ンのみならず，ロボットと人のコミュニケーションにおいしかし，池田らの研究ではロボットが「共感」すべき感ても，ロボットが人の感情を把握し，それに「共感」し，情として，人がある程度恣意的に変更できる感情と，恣意それに基づいた感情表現をすることでロボットの印象が向的に制御できない感情のどちらが望ましいかについては述上するのでははないかと考えた．

べていない．従って本研究では，恣意的に変更できる情報

2. 先行研究である表情と恣意的に変更できない生体感情による感情推定を行い，どちらの感情に同調した方が，人がロボットの人間とロボット間において，自分の情動に近い表出をロ印象を良いと感じるかについて，比較するものとした．比ボットがすることで，共感されたと感じ，親和的な関係性

較結果に基づき，有効性の高い方の感情同調によって，共を構築できる可能性が見出されている．山野らは, 音声認感を得られるロボットの実現を目指す．

識によって推定した感情に同調した表情をロボットに表出させた結果，SD 法による評価において，ポジティブ項目に†1 芝浦工業大学 工学部 情報工学科†2 芝浦工業大学 理工学研究科 電気電子情報工学専攻†3 芝浦工業大学 SIT 総合研究所© 2019 Information Processing Society of Japan1000

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

4. 提案
図１に提案システムを示した．まず，対象となる人から恣意的に変更可能な情報と, 恣意的に変更不可能な情報を取得する．これら双方から得られた感情値をもとに，それぞれの推定感情に同調する表情をロボットに表出させる．
本研究では，恣意的に変更可能な情報として表情，恣意的に変更不可能な情報として脈拍，脳波を用いた．これらの生体情報は不随意神経系である自律神経により制御されているため，恣意的に変化させることが困難とされる．

3P-84
2019/3/6

5.3 評価方法
5.3.1 生体感情の評価
脳波，心拍センサから得られたデータと，主観評価の一致率を調査する方法として，それぞれのデータから喜怒哀楽の 4 つの感情値を計算した．まず，非恣意的な情報の評価では池田らの感情推定手法[9]をもとに感情推定を行った．
脳波計には NeuroSky 社の MindWave Mobile[11]，脈拍計にはスイッチサイエンス社の脈拍センサ[12]を用いた．
脳波計は，Attention と Meditation の差分(Attention‐Meditation)を覚醒度とし，脈拍計では迷走神経緊張強度の指標である PNN50 を用いて算出された値を快不快度として用いた．これらを Russell の円環モデル(図 2)の縦軸に覚醒度，横軸に快不快度の指標を対応付け，感情を評価した．

図 1

システム概要図

5. 予備実験
5.1 実験概要
本実験では，ロボットの表情表出の印象評価に先立ち，
図 2

恣意的に変更できる情報と恣意的に変更できない情報のど生体感情推定モデル

ちらが，本人の主観的な感情と一致するのかについて予備調査を行うものとした．ここで認知的な感情とは，アンケ

池田らの感情推定手法では 8 つの感情が出力されるが，ートによって本人に回答してもらった主観的に表現された

今回は，画像処理と感情数を揃えることから喜怒哀楽の 4感情（主観評価）とする．

つの感情に分類する．実現のため，Russell の円環モデル

実験の手順として，まず実験協力者に対して，脳波計，心拍計を装着してもらい，4 つ基本感情である喜怒哀楽を喚起する画像を呈示し，安静にしてもらう．その後，生体感情推定手法，と表情解析によって測定した感情の推移との第一象限∼第 4 象限を喜怒哀楽の領域とし，結果が所属している領域をその時の感情とした．
5.3.2 主観評価
主観評価には，SAM(Self Assensment Manikin)[13]を用主観評価の一致率について調査を行った．

いた．これは非言語型評価指標であり，覚醒度と感情価を5.2 実験内容

1∼9 の尺度で評価する．縦軸に覚醒度，横軸に感情価を池20 代男子学生 2 名を対象とし，以下の手順で実験を行っ田らの生体感情推定モデルに対応付け，所属する領域をそた．の時の感情とした．

① 脳波計，脈拍計を装着し，30 秒間安静にするとした．

② 待機画像として記号画像を呈示(10 秒)．
③ 刺激画像を呈示(15 秒)

5.3.3 表情の評価
恣意的に変更可能な情報として，オムロン社の④ 呈示画像に対する主観評価を回答

OKAOVision[14]から出力される表情解析による感情評価結呈示画像が 10 枚のため，を②∼④を 10 回繰り返す．

果を用いた．このセンサからは 0.2 秒∼0.3 秒の間隔で 5 つ呈示画像には感情喚起画像データベースである IAPS(Theの感情が出力されるため，これも，4 感情に分類するため

International Affective Picture System)[10]から無作以下の表ように分類を行った．また，Neutaral(真顔)に関為に選択した人の表情の画像を用いた．また，主観評価にしては，1/3 を哀感情に，2/3 を楽感情に分類をした．

は非言語型評価指標である SAM(Self Assessment Manikin)を用いた．

© 2019 Information Processing Society of Japan1001

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

表 13P-84
2019/3/6

値をと，分類された感情を 0~100 の数値で表したものであ表情による感情データの分類

喜怒哀

楽Happiness,

Anger

Sadness,

NeutralSurprised

る．

Neutral

5.4 感情評価方法
実験では，15 秒間刺激画像が呈示させるため，この間に取得したデータを 4 感情別に加算し，加算値が最も大きい感情をその画像を見た際の被験者の感情とし，主観評価との比較を行った(図 3)．

図 5 表情の感情データの推移（実験協力者２）
図 5 の表情の感情値に比べ，生体情報の感情値は，全体に低い値となった．また、表情の感情では，哀感情が常に高
図 3

評価方法のシステム図

一致率は 10 枚の各画像に対して，表情と生体情報から推定された感情と主観評価の感情の一致した割合を計算した値である．

二人に対して全体にこのような傾向がみられた．
5.6

考察

本実験では無作為に IAPS による人の表情の画像を呈示した．これは IAPS の画像に設定されている感情スコアを考慮していなかったため，比較的感情スコアの小さい画像

5.5 結果表 2い値をとった．これは一部のデータであるが，実験協力者

表情と生体情報の感情と主観評価の感情の一致率
実験協力者１

実験協力者２

表情

60%

20%

生体情報40%50%

表 2 に 10 枚の刺激画像に対するセンサの推定感情と主観評価による感情との一致率を示した．被験者 1 では表情と主観の一致率が 60%と，生体情報との一致率より高い結果になったのに対し，被験者 2 では生体情報の一致率が高い結果となった．しかし，生体情報では両者ともおよそ 50%の一致率があるのに対して，表情は実験協力者 2 では 20％と低い傾向が見られた．

が呈示されていた可能性がある．
そのため，生体情報では感情値の大きな変化が見られず，表情では Neutral(真顔)感情値が含まれる哀感情が多く検出されたことが示唆される．
また，図 4 では怒の感情が元も多く検出されている．これは画像を見て主観評価を行う動作を 10 回繰り返しているため，単調作業のように感じ，不快感が増したことが考えられる．対して，表情では悲しみの感情が最も多く検出されている．これは写真では表情を変化させるには刺激が不十分であると考えられる．そのため，Neutral(真顔)を含んだ哀感情多く検出されたと考えられる． 表情には現れず，内心は不快であった場合，ロボットは人間の内心に同調することで，自分の気持ちを分かってくれていると感じ，ロボットに対して好印象を抱くと考える．
5.7 今後の課題
今回の実験を通して，データの安定性から生体情報による感情推定の方が表情より有効であることが示された．しかし，実験方法と結果に以下の課題が見られた．
(1) 感情の分類方法の精度(2) 刺激呈示の刺激強度

図 4 生体情報の感情データの推移（実験協力者２）(3) 被験者の人数
は表情の感情分類においては Neutral(真顔)感情が頻出しまた，実験協力者２の，10 枚目の画像を呈示した際の 15てしまうことから哀感情が常に大きい値をとった．このこ

秒間の生体情報と表情の感情データの推移を図 4，図 5 にとから Neutral 感情を感情分類において排除または，適切示した．ここで感情値は，それぞれセンサから算出されたな感情に分類する必要がある．(2)は IAPS の感情スコアの© 2019 Information Processing Society of Japan1002

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

高い画像を呈示するまたは，画像ではなく他の刺激呈示を検討する必要がある．(3)は今回被験者が二人であったため，本実験の結果に対して信頼性が十分とは言い難い．そのため，より多くの実験協力者が必要である．

6. まとめ
本論文では，ロボットによる「共感」を実現することで，ロボットの印象を向上させることを目的とした研究の中で，その予備調査を行なった結果について述べた．まず，恣意的に変更できる情報と恣意的に変更できない情報を取得し3P-84
2019/3/6

社会法人電子情報通信学会信学技報, Vol. 48, pp.7-12, (2003)
Yuhei Ikeda, et. al.. “Estimate Emotion with Biological Information
for Robot Interaction”, KES-2017, Vol.112, pp.1589-1600, 2017.
[10] Lang, P.J., Bradley, M.M., & Cuthbert, B.N. (2008). International
affective picture system (IAPS): Affective ratings of pictures andinstruction manual. Technical Report A-8. University of Florida,
Gainesville, FL.
[11] ] NeuroSky, MindWave Mobile, http;//store.neurosky.com, 2004[12] Swich Science, 心 拍 セ ン サ , <https;//www.switch-science.com,
2010[13] Albert Mehrabian. Basic dimensions for a general psychologicaltheory, Oelgeschlager Gunn & Hain, 1980, pp.39–53.
[14] オムロン．OKAOVision．https://plus-sensing.omron.co.jp/．2016[9]て，それらの情報の比較を行うものとした．前者は表情，後者は生体情報のデータを用いて，本人の主観的な感情との一致率について予備調査を実施した．人数に限りがあるものの，一致率は若干生体情報が高い結果となった．
課題に対して前向きに検討し，今後は生体情報による感情同調の方が表情より有効であるという仮説のもと，ロボットの表情表出手法の設計，実装を行う．さらに， 実装後の印象評価結果を検討し，共感ロボットの実現を目指す．

参考文献
[1]

総務省．“パートナーロボットのニーズと課題”．平成 27 年版 情報通信書．
http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h27/html/nc241350.html（参照 2018-5-24）[2] C. Breazeal and B. Scassellati, A context-dependent attention
system for a social robot, Proc. Int. Joint Conf. on Artificial
Intelligence, pp. 1146-1151, 1999.
[3] T. Komatsu, N. Kuki, (2009) “Investigating the Contributing Factors
to Make Users React Toward an On-screen Agent as if They are
Reacting Toward a Robotic Agent”, In Proceedings of the 18th IEEE
International Symposium on Robot and Human Interactive
Communication (RO-MAN2009), pp.651-656[4] B. Mutlu, S. Osman, J. Forlizzi, J. Hodgins, and S. Kiesler,
Perceptions of ASIMO: An Exploration on Co-operation andCompetition with Humans and Humanoid Robots Prof. of the Conf.
on Human-Robot Interaction (HRI2006), pp. 351-352, 2006.
[5] Jochen Hirth and Norbert Schmitz and Karsten Berns , Emotional
Architecture for the Humanoid Robot Head ROMAN, Proceedings
2007 IEEE International Conference on Robotics and Automation,
2007, pp. 2150-2155.
[6] 梅田聡．“共感”．岩波書店，2014，190p．，（コミュニケーシ
ョンの認知科学，第 2 巻）
，ISBN9768-4-00-011372-4[7] 山野美咲，薄井達也，橋本稔．“情動同調に基づく人間とロボットのインタラクション手法の提案“．HAI シンポジウム 2D4, 2008[8] 羽田拓朗，竹内勇剛 : 共感を呼ぶ CG 顔表情に関する研究,© 2019 Information Processing Society of Japan1003