情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-84
2020/3/9

顔表情識別器を用いた非同調反応がもたらす人とロボットのインタラクション特性の解析
藤原秀平†1 Prarinya Siritanawan†1

小谷一孔†1

概要： 近年，コミュニケーションに主眼をおいたロボットが社会に普及しつつある．我々はこのようなロボットに対して，自身の気持ちをくみ取った言動を行ってくれることを期待する．しかしながら，現状のロボットの多くは相手の顔表情を認識した上で反応を選択することはできない．認識した感情に対して行動を選択する方法として，同調に着目したものがある．しかしながら，人同士のコミュニケーションにおいて，悲しんでいる人がいるとき一緒に悲しんで同調するだけでなく，そっとしておく人やなだめる人，笑って励ます人もいる．こうした非同調反応の違いによってもインタラクションへの影響は変化する．本研究では非同調反応に着目し，これが人とロボットのインタラクション特性に及ぼす効果を顔表情識別器の認識特性を用いて定量的に解析する．

本研究では非同調反応に着目し，これが人とロボットの1. はじめにaインタラクション特性に及ぼす効果を顔表情識別器の認識

人とのコミュニケーションに主眼をおいたロボットが社特性を用いて，定量的に解析する．

会に普及しつつある．我々はこのようなロボットに対して，自身の気持ち（感情）をくみ取った言動を行ってくれることを期待する．しかしながら，現状のロボットの多くは相2. 本研究におけるインタラクション

手の顔表情を認識した上で反応を選択することはできない．

人とロボットによるインタラクションの形態は様々で

例えばロボットに対して「元気だよ」と言った場合，喜びある．本研究では図 1 に示すような人とロボットが一対一の顔や悲しみの顔の違いを認識して反応を選択することはである場合のインタラクションについて議論する．トリガ

ない．感情に応じた行動をロボットに取らせるためには，ー（人の顔表情）及び反応（ロボットの音声と動作）の集ロボットが人の顔表情を認識し感情を推定して行動を選択

合をそれぞれ𝐴, 𝑅とし，各トリガーを𝑎 ∈ 𝐴，各反応を𝑟 ∈ 𝑅する方法が必要である．とする．人からロボットへのトリガー𝑎対して，ロボットに人の感情を認識する方法として，顔表情は不可欠である．
人同士の感情コミュニケーションにおいて，93%の情報はよる反応𝑟が起きたとする．これをインタラクション𝑖(𝑎, 𝑟)として定義する．

非言語情報により，更にその 59%は表情や視線，身振りなどの身体動作により伝達される[1]．表情は情報を伝達するメディアとして，音声情報にはない「情報発信の持続性」があり[2]，人の表情を任意のタイミングで計測し，ロボット制御に用いることができる．
また，認識した感情に対して行動を選択する方法として，例えば，悲しんでいる人に対して一緒に悲しむような反応

図 1

人とロボットのインタラクションを同調反応という．山野ら[3]は，音声情報を用いて人の感情を分析し，ロボットに顔表情を表出させることで，ロボットの情動を人の情動に対して同調，非同調させる実験を行った．非同調の場合と比較して，同調を行うことでロボットとのインタラクション時間が向上し，人の心理状態がよりポジティブな方向に変化したことが報告されている．

3. インタラクションシステム
3.1 システム概要
本研究におけるインタラクションシステムの概要を図 2に示す．ロボットには RoBoHoN を用いた[4]．

しかしながら，人同士のコミュニケーションにおいては，悲しんでいる人がいるとき，一緒に悲しんで同調するだけ

3.2 顔表情識別手法

でなく，そっとしておく人やなだめる人，笑って励ます人

顔表情識別手法として，クラス特徴に基づく固有空間法もいる．こうした非同調反応の違いによってもインタラク（Eigenspace Method based on Class features; EMC）を用いたションへの影響は変化する．

[5]．EMC によって顔表情を識別する過程を図 3 に示す．

†1

北陸先端科学技術大学院大学

先端科学技術研究科© 2020 Information Processing Society of Japan1091

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-84
2020/3/9

4.2 本実験で使用した顔表情クラス
本実験では解析に用いる顔表情クラスとして，図 4 に示す全 4 表情を用いた．各表情は Facial Action Coding System(FACS) に基づいている．
4.3 辞書用顔表情の取得
顔画像は図 5 に示す位置関係で次の手順で取得した．
①

各表情について図 4 を見本として，被験者は鏡を使って表情表出の訓練する．

②

Neutral から順に表情画像を取得する．1 回の撮影は約10 秒で，50 枚の画像を取得する．

図 2

図 3

システム概要③

計 2 回行い，表情ごとに計 100 枚の表情画像を得る．

EMC による顔表情識別の過程

識別する顔表情クラスの集合を𝐹，各クラスを𝑓 ∈ 𝐹とする．
図 5

学習データから EMC により基底𝒆𝑘 (𝑘：基底の次元数)を人とロボットの位置関係求める．入力画像𝒙は基底𝒆𝑘 によって EMC による特徴空間へ射影され，特徴ベクトル𝒙EMC を得る．この特徴ベクトル

4.4 ロボットとのインタラクション実験と辞書ベクトル𝒅𝑓 から類似度𝑠𝑓 を式 1 により計算する．

⚫

𝒙EMC ⋅ 𝒅𝑓
𝑠𝑓 = EMC‖𝒙‖‖𝒅𝑓 ‖(1)

被験者
20 代の学生 4 人（男性 3 名，女性 1 名）⚫

実験内容
図 5 のような対面した位置関係によるインタラクション

また，識別クラス𝑓は式 2 により与える．
𝑓 = argmax(𝑠𝑓 )実験を行った．表情の表出を促すため，式 3 に示すトリガ(2)ー𝑎とこれに対応する反応𝑟𝑎 の計 16 通りのシナリオを用意した．トリガーの内容を表 1 に示す．

本研究ではインタラクション𝑖(𝑎, 𝑟)が類似度𝑠𝑓 やこれから得られる顔表情認識特性に及ぼす影響を解析する．

4. 非同調反応による影響の解析
4.1 実験概要
本実験の目的は非同調反応がインタラクションの特性に及ぼす影響を定量的に解析することである．そのために辞書用顔表情の取得とロボットとのインタラクション実験を行った．

𝑎 ∈ 𝐴, 𝑟𝑎 ∈ 𝑅𝑎 | 𝐴, 𝑅𝑎 ={Anger, Happiness, Neutral, Sadness }
表 1

(3)

実験に用いたトリガーの内容

トリガー𝑎

内容

Anger

こら！何してるの！

Happiness

やったー！宝くじが当たったよ！

Neutral

勉強を教えて？

Sadness

失敗しちゃったなぁ

被験者はランダムな順に並んだシナリオに従ってロボットとインタラクションを行った．このときロボットはトリガーの直後に 1 枚，反応の直後に 5 枚の計 6 枚の顔画像を撮影した．
図 4

顔表情クラス© 2020 Information Processing Society of Japan1092

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-84
2020/3/9

4.5 実験結果
実験結果の例として，被験者 A のインタラクション
𝑖(Sadness, 𝑟Sadness )の類似度𝑠𝑓 の時間変化の様子を図 6 (a)～(d)に示す．

(a) 𝑖(Sadness, Anger)の場合
図 7 インタラクションによる類似度𝑠𝑓 の変化

5. まとめ非同調反応が人とロボットのインタラクション特性に及ぼす効果を顔表情識別器の認識特性を用いて，定量的に解(b) 𝑖(Sadness, Happiness)の場合析する研究の中でおこなった実験について述べた．計 16 通りのインタラクションを行い，同じトリガーであっても反応が異なることで顔表情識別器の類似度に異なる変化が現れることが確認できた．今後はより被験者の数を増やし，類似度以外の評価値についても検討し，非同調反応の違いによる影響などを解析していく．

参考文献(c) 𝑖(Sadness, Neutral)の場合[1] 黒川隆夫. ノンバーバルインターフェイス. オーム社, 1994, p.
30-31.
[2] 吉川左紀子，身体性とコンピュータ. 共立出版. 2001, p. 376388.
[3] 山野美咲，薄井達也，橋本稔．情動同調に基づく人間とロボットのインタラクション手法の提案．2008, HAI シンポジウ
ム, 2D-4.
[4] “ロボホン”. https://robohon.com/product/robohon.php, (参照2019-12-23).
[5] 黒住隆行, 新座良和, 剣持雪子, 小谷一孔. 固有空間法と重判
別分析による顔画像の個人性と表情の解析. 1998-12, 信学技報, CS98-122, p. 57-64.

(d) 𝑖(Sadness, Sadness)の場合
図 6

実験結果の例

これよりトリガーが同じ場合でも，ロボットが異なる反応を示すことで類似度の変化が異なることが確認できた．類
似度の変化を式 4 として定義する．
𝐽1∆𝑠𝑓 = ∑ 𝑠𝑓𝑗 − 𝑠𝑓0
𝐽

(4)

𝑗=1

ここで，𝑗はインタラクション中に撮影された画像の番号である．
（インタラクション前が0，インタラクション後が1~𝐽）
これを計算したものを図 7 に示す．

© 2020 Information Processing Society of Japan1093