情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1B-47
2019/3/6

自己表情が他者からフィードバックされるシステムによる会話中の笑顔促進効果の調査
堀江 彩太1,a)

寺田 努1,2,b)

塚本 昌彦1,c)

概要：他者との会話において表情が相手に与える印象は大きいが，会話中に自分自身の表情を意識する機会は少ない．そのため自分の意図とは異なる印象を無意識のうちに他者に与えてしまうことがある．そこで本研究では，自己表情を意識する機会を増やすために，表情推定が可能な小型のカメラセンサを用いて，自己表情が他者からフィードバックされるシステムを提案，実装する．本システムを用いて 2 人 1 組の会
話実験を行った結果，会話中にフィードバックを行うことで笑顔を促す効果がある可能性を確認した．

1. 研究の背景と目的
他者とのコミュニケーションにおいて，会話内容そのも਀ੲ௓৒க૮ ಜ ຐ 怒 ๩ढ़ওছ७থ१

000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 00000 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 00000 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00

ঐॖ॥থ000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00000000000000000000000000000000000のの言語情報とは別に，話し方や仕草，表情などの非言語情報が相手に与える印象は大きい．Mehrabian はコミュニ
ケーションにおいて他者に与える印象の要因の割合を調査しており，会話内容が 7%，声のトーンや話し方が 38%，表/('ॸ‫ش‬উ

情や仕草が 55%という結果を示している [1]．この結果か਀ੲ௓৒கपૢगथਡྩら会話中の非言語情報，とりわけ表情や仕草が他者に与える印象の影響は大きく，例えば相手に良い印象を与えたい

図 1

システム構成場合，できるだけ笑顔でいることが望ましいといえる．しかし，会話中に自分自身がどのような表情をしているかをた本システムによって表れる会話中の変化として，笑顔の意識する機会は少なく，自分の意図とは異なる印象を無意表出に着目して調査を行う．

識のうちに相手に与えてしまうことがある．
そこで筆者らは近年小型化が進んでいるリアルタイムに

2. 提案システム

人の表情推定ができるカメラセンサに着目した．このカメシステム構成を図 1 に示す．表情推定を行うためのカメ

ラセンサを用いて自己表情が他者に与える印象を可視化でラセンサとしてオムロン社の HVC-P2[2] をメガネに取りきれば，会話中の自分自身の表情を意識する機会が増える

付け，有線でマイコンに接続した．カメラセンサは毎秒 2ため，自分の意図した感情と異なる印象を無意識のうちに回ずつ画像を取得し，検出した顔の表情データをマイコン相手に与えるという問題を解決できるのではないかと考に送信する．表情データは，無表情，喜び，驚き，怒り，えた．

悲しみの 5 要素の合計が 100 になる数値で出力される．カ

本研究では，会話中に他者の表情を他者に提示するメガ

メラセンサから得た表情データに応じてメガネの前面と横ネ型デバイスを互いに装着することで，自己表情が他者か面に取り付けた LED が点灯，点滅することで，メガネ装ら視覚的にフィードバックされるシステムを提案する．ま着者の話し相手に対してフィードバックを行う．LED は外側に取り付けているため装着者には見えない．取得した12a)b)c)

神戸大学大学院工学研究科
Grad. School of Engineering, Kobe University
科学技術振興機構さきがけ
JST PREST
a.horie@stu.kobe-u.ac.jp
tsutomu@eedept.kobe-u.ac.jp
tuka@kobe-u.ac.jp© 2019 Information Processing Society of Japan

表情データはマイコンに有線接続された microSD カードに保存される．

3. 実験手法
提案システムが会話に与える影響を調査するため，2 名375

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

଺ୡ঻$

1B-47
2019/3/6

表 1଺ୡ঻%⋜⋝଺ୡ঻&>ী@଺ୡ঻'TBTB /TATCTD

TD /TCTETF

TF /TEI

10.0

20.2

2.02

10.5

20.2

1.92

66.6

172.2

2.59

II

5.5

14.6

2.65

21.5

26.3

1.22

45.4

53.1

1.17

III

15.4

16.8

1.09

45.5

24.6

0.54

22.9

20.5

0.90


>ী@

⋛

す．被験者 A の笑顔なし警告時間を TA (被験者 B∼F につ⋜いても同様) と表記している．この比率は，笑顔表出の個⋝

଺ୡ঻(>ী@଺ୡ঻)>ী@



者ともにフィードバックを受けない場合) における TA とTB の比率は 2.02 であり，これは被験者 A に比べて B は笑⋜

顔が頻繁に表出せず，笑顔なし警告時間の平均時間の長さ>ী@
>ী@‫ؼ‬൚౿ऩख૤ઔৎ৑⋛૏঻ইॕ‫ॻش‬ংॵॡ॑ਭऐऩः

人差を表している．例えば，被験者 A，B のパターン I(両⋛⋝

笑顔無し警告時間の平均時間 [s] と各会話における比率TA⋛⋜$‫(؜&؜‬भाਭऐॊ⋝%‫)؜'؜‬भाਭऐॊ

図 2 会話 10 分における笑顔なし警告時間が被験者 A の 2.02 倍であったことを意味する．この比率はその人がどれほど会話中に笑顔を表出するかという個人差に基づくものであるため，多少の誤差はあるものの，どのような会話においても比率が一定であると考えられる．
この比率をもとに，まず被験者 A に対するフィードバックによる効果を検討する．パターン II(被験者 A のみが1 組の会話実験を行った．被験者は 20 代男性 6 名で，会話ペアは計 3 組である．両者ともにメガネ型デバイスを装着した状態で 10 分間の会話を行う．会話は両者のフィードバックの有無のパターンを変えて 3 回行った．被験者 Aと B の会話の場合，どちらもフィードバックを受けないパターン I，被験者 A のみがフィードバックを受けるパターン II，被験者 B のみがフィードバックを受けるパターン II

I の計 3 回である．これを被験者 C，D のペア，E，F のペアに対しても同様に行った．
フィードバックの機能としては笑顔を促すねらいのもと機能を実装し，フィードバックの有無によってどれだけ笑顔が頻繁に表出するかを評価する．具体的には，喜びの数

フィードバックを受けた場合) の TB /TA の値は 2.65 で，パターン I の TB /TA より大きい．これは被験者 A の笑顔なし警告時間が短くなったためで，被験者 A に対してフィードバックによる笑顔を促す効果がみられたといえる．次に被験者 B に対するフィードバックによる効果を検討すると，パターン III(被験者 B のみがフィードバックを受けた場合) の TB /TA の値は 1.09 で，パターン I の TB /TA より小さい．これは被験者 B の笑顔なし警告時間が短くなったためで，被験者 B に対してフィードバックによる笑顔を促す効果がみられたといえる．同様に被験者 C∼F について検討すると，被験者 D，F に対してはフィードバックによる笑顔を促す効果がみられた．しかし被験者 C，E に対し値が 50 以上となる表情を笑顔とみなし，笑顔であることをては反対に，フィードバックを受けることで警告時間が長意識させるために LED を白く点灯させる．また笑顔を一くなる結果となり，笑顔を促す効果はみられなかった．こ度も検出しない時間が 20 秒以上続いた場合，次に笑顔が検出されるまで笑顔を促すための警告として LED を赤色に点滅させる．この一定時間笑顔がないことを警告される時間を笑顔なし警告時間と定義し，評価指標とする．フィーの原因として，比率を求めるために使用したパターン I の試行が 1 回のみと回数が少なく，誤差が大きかったためであると考えられる．対策として，パターン I の試行を複数回行い誤差を減らすことがあげられる．

ドバックの有無のパターンが異なる会話間での笑顔なし警
告時間の平均時間を比較することで，本システムが会話中5. まとめと今後の課題の笑顔表出を促す効果を評価した．なお被験者にはそれぞ

本研究では，表情推定が可能な小型カメラセンサによっれの会話について異なるテーマを与えており，会話の前にて自己表情が他者からフィードバックされるシステムを提メガネ型デバイスの機能の説明は行ったが，本実験の意図

案，実装し，本システムが会話中の笑顔の表出に与える影は伝えずに実験を行った．

響を調査した．調査の結果，会話中にフィードバックを行

4. 実験結果と考察うことで笑顔を促す効果がある可能性を確認した．

それぞれの会話 10 分における笑顔なし警告時間をタイムライン形式に表したものを図 2 に示す．被験者 A は全体的に笑顔なし警告時間が短く，被験者 E や F には警告時間が長いものがみられるなど，被験者によって大きく差があることが分かる．3 組の各試行ごとの笑顔無し警告時間

参考文献
[1]
[2]

A. Mehrabian: Communication Without Words, Phychological Today, Vol. 2, pp. 53–55 (1968).
オ ム ロ ン 株 式 会 社: 形 B5T ヒ ュ ー マ ン ビ ジ ョ ン
コ ン ポ（HVC-P2）, https://www.omron.co.jp/ecb/
product-info/image-sensing-/b5t-007001．の平均時間の結果と，各会話ペアにおける比率を表 1 に示

© 2019 Information Processing Society of Japan376