JAIST Repository
https://dspace.jaist.ac.jp/Title

顔表情識別器を用いた非同調反応がもたらす人とロボットのインタラクション特性の解析

Author(s)藤原, 秀平

CitationIssue Date

2020‑03

TypeThesis or Dissertation

Text version

author

URL

http://hdl.handle.net/10119/16377

RightsDescription

Supervisor: 小谷（融合科学）

一孔, 先端科学技術研究科, 修士

Japan Advanced Institute of Science and Technology

対外厳秘

本要旨の内容については，他の人に口外または開示することを禁止します。
閲覧に当たっては，守秘義務を負うことに同意の上，取扱いには十分注意してください。

顔表情識別器を用いた非同調反応がもたらす人とロボットのインタラクション特性の解析
Analysis of Human-Robot Interaction using Asynchronous Responses
based on Facial Expression Information
北陸先端科学技術大学院大学 1850005
氏名 藤原 秀平
主任研究指導教員氏名 小谷 一孔
1. 序論
人とのコミュニケーションに主眼をおいたロボットが社会に普及しつつある。人とロボットが共生する時，我々はこのようなロボットに対して，人に対して思うのと同様に自身の気持ち（感情）をくみ取った言動を期待する。ロボットが認識した感情に対して行動を選択する方法として同調反応がある[1]。同調反応とは意識的か無意識的かを問わず，他者の行動と同じ行動を起こす反応を指す。例えば，悲しんでいる人に対して一緒に悲しむ反応は同調反応である。一方で人同士のコミュニケーションについて考えると，一緒に悲しむという同調反応をする人だけでなく，そっとしておく人やなだめる人，笑って励ます人もいる。このような同調反応以外の反応を非同調反応と呼ぶこととする。非同調反応が人とロボットのコミュニケーションにもたらす効果を解析することで，ロボットは現在より複雑な反応を選択出来る。本研究では人とロボット間の感情を伴うインタラクションにおいて，非同調反応に着目し，反応の違いがインタラクションに及ぼす効果を顔表情識別器の類似度から得られる評価値を用いて定量的に解析することを目的とする。
2. インタラクションシステム
システムは図 1 のようにロボットとサーバで構成し，ロボットには RoBoHoN を，顔表情識別器には EMC[2]を用いた。
表情の取得は以下のように行う。
①人はロボットに対してトリガー（表情）を表出する②ロボットは人の顔画像（変化前の顔画像）を撮影しサーバへ送信する③サーバは画像を顔表情識別器へ入力し表情認識を行う④サーバは予め登録した反応辞書から反応を決定し，動作命令をロボットへ送信する
図 1 インタラクションシステム⑤命令に応じてロボットが反応し，インタラクションが生じる⑥再度画像を撮影し保存する（変化後の顔画像）
これによりインタラクションによる顔表情の変化前後の顔画像が取得可能となり解析を行うことができる。
3. 同調・非同調反応がインタラクションに及ぼす効果の解析
被験者 9 名に対し 16 種類のインタラクション実験を行った。実験のフローチャートを図 2 に示す。

図3
図2

実験のフローチャート

類似度の時間変化の例

対外厳秘

本要旨の内容については，他の人に口外または開示することを禁止します。
閲覧に当たっては，守秘義務を負うことに同意の上，取扱いには十分注意してください。

各インタラクションについて，主観評価と顔表情の取得を行い，インタラクションの評価値の検討と解析を行った。図 3 はある被験者のインタラクションにおける顔表情識別器の類似度の時間変化である。ロボッ
トの反応によって表情が変化し，類似度に変化が起きている。
人とロボットのコミュニケーションでは相手の感情に与える影響がポジティブかネガティブかが重要となる。このため，反応前後の類似度の変化量をポジティブな感情クラスとネガティブな感情クラスについて重み付して和を取り，評価値として類似度変化量Δ𝑠を定義した。主観評価値も同様に重み付して和を取り，主観変化量Δ𝑝とした。この 2 つ値を被験者ごと平均し，相関関係を解析した。結果として，相関係数が 0.88 と強い正の相関が得られ，類似度変化量Δ𝑠の有用性を示した。また，相関の無い被験者も存在したことから心理尺度 NARS，RAS，SAES[3],[4]との相関関係を分析し，ロボットに対する感情的なコミュニケーションについて，否定的な意識を持つ被験者に対しては類似度変化量Δ𝑠によってインタラクションを正しく評価できないという結果を得た。ロボットに対する否定的な意識を持つ被験者はロボットとのインタラクションに対して慣れていないことが予想される。今後の実験では，被験者に対しロボットの説明を十分した上で，一定時間以上のコミュニケーションをとらせることでロボットに対して慣れさせることが必要になる。
類似度変化量Δ𝑠を用いてインタラクションを解析した結果について述べる。同調反応はトリガーが属するクラスに応じた効果を与える。トリガーがポジティブな感情クラスに属する場合であればポジティブな効果を与え，ネガティブな感情クラスに属する場合であればネガティブな効果を与える。非同調反応はトリガーが属するクラスに応じた効果を与えるとは限らない。トリガーがポジティブな感情クラスに属する場合に与える効果は小さいが，トリガーがネガティブな感情クラスに属する場合には大きな効果を与えることもある。
トリガーが Neutral の場合は反応が属するクラスに応じた効果が表れ，ポジティブな反応をすることでポジティブな効果が生じ，ネガティブな反応をすることでネガティブな効果を与える。これは人がロボットに対して無意識に同調した結果だと考えられる。
4. 結論
人の感情に対する同調・非同調反応がインタラクションに及ぼす効果を表す評価値の検討と解析を行った。
主観評価による結果と類似度による結果を比較し，評価値として類似度変化量Δsの有用性を示した。また，認知心理学の観点から類似度変化量Δ𝑠と心理尺度 NARS，RAS，SAES の相関関係を分析し，ロボットに対する感情的なコミュニケーションについて，否定的な意識を持つ被験者に対しては類似度変化量Δsによってインタラクションを正しく評価できないという結果を得た。さらに，主観評価の結果と評価値Δs を用いた解析から，以下の知見を得た。
非同調反応は同調反応と比較して個人性が高い
同調反応はトリガーが属するクラスに応じた効果を与える。
非同調反応はトリガーが属するクラスがネガティブな場合に効果が大きい。
トリガーが Neutral の場合は反応が属するクラスに応じた効果が表れる。
今後は類似度変化量Δsを用いてより多くの反応を解析し，ロボットの学習に用いることや数分から数時間といった長時間のインタラクションについて議論する必要がある。
参考文献[1] 山野美咲, 薄井達也 , 橋本稔, “情動同調に基づく人間とロボットのインタラクション手法の提案,” HAI
シンポジウム, 2D-4, pp. 1-6, 2008.
[2] 黒住隆行, 新座良和, 剣持雪子 , 小谷一孔, “固有空間法と重判別分析による顔画像の個人性と表情の解析,” 信学技報, CS98-122, IE98-101, pp. 57-64, 1998.
[3] 野村竜也, 神田崇行, 鈴木公啓, 山田幸恵 , 加藤謙介, “Human-Robot Interaction (HRI) における人の態度・不安・行動,” 第 26 回ファジィシステムシンポジウム, TB2-4, 2010.
[4] 酒井久美代, “情動認識力が他者認識力に与える影響,” 日本女子体育大学紀要, Vol.37, pp. 1-8, 2007.