情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6D14
2022/2/21

Symbolic Eyes: シンボリックな目元表情を提示する眼鏡型デバイス
濱田紀†1橋本直†1

概要：コミュニケーションにおいて表情は人間の感情や意思を伝達する役割を持っている．表情を相手に適切に伝えられないことはコミュニケーションエラーの原因となる．Covid-19 の影響により，多くの人々がマスクを着用している状態であり，対話の相手の表情がわからないという意見があることや表情認識率の低下が報告されている．そこで
本研究では，目元の表情をシンボリックなものに代替することで相手に正確に表情を伝える手法を提案する．提案手法では目元の表情を提示する小型ディスプレイを搭載した眼鏡型のデバイスを使用する．表情の切り替えは手元のコントローラのボタン操作によって行われる．本稿では，デバイスの実装と表情認識精度による評価実験の結果について報告する．

1. はじめにコミュニケーションを取ることは人間の基本的行動の一

2. 関連研究2.1 顔ディスプレイつである．Mehrabian によると初対面の人間に対して形成コミュニケーションの支援を目的とする研究では，顔にされる印象の 55%は外見的な要因とされる[1]．コミュニ

ディスプレイを装着するアプローチはこれまでにも行われケーションにおいて非常に重要な外見的要素の一つに表情てきた[9][10]．e2-Mask[11]は装着者の顔前面のディスプレが挙げられる．表情はその人間の感情や意思を伝達する役

イにアバタを表示させることで対面コミュニケーションの割を担っている．Ekman らは表情が怒り・嫌悪・恐怖・喜支援を行う．このデバイスでは，内部のカメラで装着者のび・悲しみ・驚きの 6 感情に基づいて表出されるとし，こ顔をリアルタイムに認識させることでアバタの表情を決定れらを基本 6 表情・基本 6 感情として提案している[2]．

している．e2-Mask は装着者の外見を変更することで他者表情を正確に伝えることができない事例は存在し，基本に与える印象を変容させることを目的としているが，提案6 表情においても恐怖と驚きや怒りと嫌悪は混同される傾手法は装着者の表情をシンボリックなものに代替すること向にあることが報告されている[3]．加えて，目元など顔ので表情や感情の伝達能力の補助を目的としている．

一部のみで表情判断することは更に難しく，マスク着用時HappyMouth[12]は本研究と同様にディスプレイを使用するの表情の認識率の低下が報告されている[4]．特に近年はことで表情形成の支援を行っている．マスクに搭載された

Covid-19 の感染防止のためマスクを着用する機会が増えて

小型ディスプレイに口の画像や発話内容の字幕表示，画像おり，2021 年 8 月時点での日本人の外出時のマスク着用率検索の結果を表示することでコミュニケーション能力を拡は 92.0%と非常に高い[5]．また，マスクをしていることに張している．本研究と同様に目を代替する手法としてよって表情がわかりづらいことを問題視する声もある[6]．

Emotional Cyborg[13]がある．小型ディスプレイを搭載した対面コミュニケーションにおいて意図した表情の伝達が行眼鏡型デバイスに，予め撮影した装着者の目を表示するこわれなかった場合，意思疎通に失敗したり情報の解釈に誤りが起きてしまったりする恐れがある．
そこで本研究では，シンボリックな目元表情を提示する眼鏡型デバイス「Symbolic Eyes」を提案する．本デバイス
では図 1 のように顔文字のような記号的な目の画像を目元に表示する．表情認識では最も長い時間注視される部位が目であることが報告されており[7]，顔文字の表情判断について日本人とアメリカ人を比較した調査では日本人の多くが目から表情を判断しているとことが報告されている[8]．
以上のことから，シンボリックな表情を目で代替することが効果的であると考えた．本稿では，システム設計と実装したプロトタイプについて報告する．

図 1 Symbolic Eyes

†1 明治大学
Meiji University© 2022 Information Processing Society of Japan802

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6D14
2022/2/21とで感情労働を代替している．提案手法では，実際の目でため，2.5 秒間操作が行われなかった場合，無表情へ切り替はなく記号化されたものを使用する．また，本研究では表わるよう設定した．

情伝達能力の変化についても言及する．

3.2 使用する表情
使用する表情の一覧を図 3 に示す．表情は 7 種類あり，2.2 顔文字・絵文字
顔文字や絵文字などの活用による会話への影響や感情の基本 6 表情と無表情に対応している．怒り・悲しみ・喜び・表現が調査されている．植淵らは笑顔アイコンの利用に驚き・無表情はインターネット上の掲示板でよく用いられよって，対面コミュニケーションにおける会話での伝達能る顔文字や，山本らの研究[15]を参考に決定した．また，力の向上させるシステムを提案した[14]．この研究では笑FACS[16]と呼ばれる表情分析手法での特徴を元に，恐怖は顔アイコンの介在によって会話がより活性化される可能性見開かれた目と涙の輪郭，嫌悪は眉間を寄せた目の輪郭をが示されている．顔文字・絵文字の利用によって対面コミュ模して作成した．

ニケーションを拡張する点では本研究と共通する．山本らは Twitter の書き込みから顔文字が表現している感情を分析している[15]．その結果，目・鼻・口・眉の部位に分けることで特定の文字が表現する感情を特定している．

4. 実験
4.1 目的提案手法が基本 6 表情と無表情の認識精度に与える影響

本研究では基本 6 表情に基づき，利用者の目をシンボを調査する．

リックな表情で代替することで，表情伝達能力を向上させ

4.2 実験方法
本実験は大学内の静穏な教室で行った．実験は表情表出る．

者と回答者の 2 人 1 組で行い，両者が対面して座った状態

3. 提案手法
3.1 デバイス概要
対面コミュニケーションにおいて目元の表情や感情の認識精度を向上させるため，自身の目元の表情をシンボリックな表情へと代替するデバイスを実装した．デバイス全体の外観を図 2 に示す．デバイスはディスプレイのついた眼鏡型デバイスとスイッチ式のコントローラで構成される．
眼鏡型デバイスはオーバーサイズのサングラス，小型ディスプレイ 2 個（Sparkfun TFT LCD モジュール 1.8 インチ），マイコン（Teensy4.0）で構成される．ディスプレイはサングラスの眼鏡部分より小さいため，装着者にはある程度の視界が確保されている．また，表示画像以外の外見の影響を考慮し，3D プリンタ製のカバーによってディスプレイ部の基板は隠されている．
コントローラは 6 個のタクトスイッチで構成され，装着者はスイッチを押すことで対応した表情に切り替えることができる．また，特定の表情が表示され続けることを防ぐ

図2

デバイスの外観© 2022 Information Processing Society of Japan

図 3 使用する表情803

情報処理学会 インタラクション 2022
IPSJ Interaction 2022で行った．また，Covid-19 の感染防止と本研究の動機であるマスク着用時の表情認識の問題を考慮し，実験はマスクを着用した状態で行った．
実験条件は，表情表出者に提案デバイスを装着させる条

6D142022/2/21

4.3 参加者
参加者として 19 歳～21 歳の 5 組 10 名（男性 5 名，女性5 名）が参加した．参加者の全員が表情表出に問題のない健康な大学生である．また，すべての参加者の組は会話を件（装着条件）と，提案デバイスを装着させない条件（非したことがない者同士とした．

装着条件）の 2 条件とした．実験は参加者内比較とし，す4.4 結果と考察

べての参加者に対して両方の条件を体験させた．実験順は表情認識の結果を図 4 に示す．非装着条件と装着条件そカウンターバランスをとった．表情表出者に基本 6 表情とれぞれにおける正答率を比較すると，怒り・喜び・悲しみ無表情の 7 種類の表情をランダムな順番で表出させ，回答において装着条件が非装着条件を上回る結果となった．ま者に最も近いと思う表情を答えさせるタスクを行った．装た，正解表情の正答率に一要因参加者内分散分析を 5%水

着条件では，表情表出者に PC のディスプレイを見せるこ準で行ったところ，これら 3 種類の表情において有意な差とで表出する表情を指示した．非装着条件では，表出するがみられた．これにより提案手法は怒り・喜び・悲しみに表情に対応する画像とスイッチを PC のディスプレイで見おいて正確な表情伝達が可能であることが示唆された．

せ，操作するよう指示した．両方の条件が終了した後，表情表出者と回答者を入れ替え同様の実験を行った．

装着条件における他の表情の結果について述べる．嫌悪は恐怖と悲しみとの混同が確認された．恐怖は正答率が10%で悲しみへの誤認識が 90%となった．この原因として，涙形状の輪郭が恐怖でなく悲しみとして認識されたことが考えられる．また，驚きと無表情では 20%と 40%の混同が見られている．原因として驚きと無表情の差が目の輪郭部の大きさのみであることが考えられる．

5. おわりに本研究では，対面コミュニケーションにおいて人の目をシンボリックなものへ代替することで，自身の意図した表情を正確に伝える手法を提案した．
提案手法を用いた結果，表情認識課題での喜びと怒り，悲しみの認識精度の向上がみられた．このことから，提案手法は特定の表情や感情を相手に伝える際に有効であることが示唆された．一方で，恐怖を悲しみと誤認することや(a) 非装着条件

驚きと無表情の混同することがあったため，表情画像のデザインには改善の余地がある．
今後は，会話時に提案デバイスを使用するユーザスタ
ディを行うことで，会話への影響やインタフェースの操作性についても調査する．

参考文献
[1]
[2]
[3]

[4]

[5]

(b) 装着条件
図 4 表情認識率© 2022 Information Processing Society of Japan[6]

Mehrabian, A.. Communication without words, Psychol. Today,
1968, vol. 2, no. 9, p. 52-55.
Ekman, P. and Friesen, W. V.. Pictures of Facial Affect. Consulting
Psychologists Press, Palo Alto, Cal, 1976.
Ekman, P.. Strong evidence for universals in facial expressions: A
reply to Russell's mistaken critique. Psychological Bulletin, 1994,vol. 115(2), p. 268-287.
Carbon, CC.. Wearing Face Masks Strongly Confuses
Counterparts in Reading Emotions. Frontier in Psychology, 2020,
vol. 11, 2526p.
“テレ朝 news”,
https://news.tv-asahi.co.jp/news_economy/articles/000228898.html, (参照 2021-12-15)“PR TIMES”,
https://prtimes.jp/main/html/rd/p/000000052.000043389.html,(2021-12-15 参照)

804

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6D14
2022/2/21[7]

Barabanschikov, VA.. Gaze Dynamics in the Recognition of Facial
Expressions of Emotion. Perception, 2015, vol. 44, no. 8-9, p.
1007-1019.
[8] Yuki, Masaki et al.. Are the windows to the soul the same in theEast and West? Cultural differences in using the eyes and mouth ascues to recognize emotions in Japan and the United States. Journalof Experimental Social Psychology, 2007, vol. 45, p. 303-311.
[9] Misawa, K. and Rekimoto, J.. ChameleonMask: Embodied
Physical and Social Telepresence using human surrogates. Proc.
CHI, 2012, p. 401-411.
[10] Chan, L. and Minamizawa, K.. Frontface: Facilitating
communication between hmd users and outsiders using frontfacing-screen hmds. Proceedings of the 19th International
Conference on Human-Computer Interaction with Mobile Devices
and Services MobileHCI ’17, 2017.
[11] 梅澤章乃, 竹川佳成, 杉浦裕太, 平田圭二. e2-Mask から
mime-Mask: 顔の印象を拡張する仮面型ディスプレイの提案,
ヒューマンコンピュータインタラクション研究発表会, 2018,vol. 176, no. 2.
[12] 石井綾郁, 小松孝徳, 橋本直, “HappyMouth: マスク型デバ
イスによる対面コミュニケーション能力の拡張”, ヒューマ
ンコンピュータインタラクション研究発表会, 2018, vol. 177,
no. 7.
[13] Osawa, H.. Emotional cyborg: Complementing Emotional Labor
with Human-agent Interaction Technology. Proc. HAI. 2014, p.
51–57.
[14] 埴淵俊平, 伊藤京子, 西田正吾, ソーシャルインタフェースの設計に向けた笑顔アイコン利用方法の検討, ヒューマンイ
ンタフェース学会論文誌, 2011, vol. 13, no. 4 , p. 365-376.
[15] 山本湧輝, 熊本忠彦, 灘本明代, 顔文字の役割に着目したツイートの多次元感情抽出手法の提案, ARG Web インテリジェ
ンスとインタラクション研究会, 2014, vol. 4, no. 08, p. 27-32.
[16] Ekman, P. and Friesen, W.. Facial Action Coding System: A
Technique for the Measurement of Facial Movement. Palo Alto,Consulting Psychologists Press, 1978.

© 2022 Information Processing Society of Japan805