HAI シンポジウム 2022
Human-Agent Interaction Symposium 2022

P-20

日本人高齢者表情データベース構築のための感情ラベリングに基づく分析
An Analysis Based on Emotion Labeling to Construct a Database ofFacial Expressions of Japanese Elderly People
村上 大斗 1∗
Hiroto Murakami1

吉田 直人 2
Naoto Yoshida2

米澤 朋子 3
Tomoko Yonezawa3

榎堀 優 4
Yu Enokibori4

間瀬 健二 4
Kenji Mase4

名古屋大学 情報学部
School of Informatics, Nagoya University2
名古屋大学 未来社会創造機構
2
Institutes of Innovation for Future Society, Nagoya University
3
関西大学 総合情報学部
3
Faculty of Informatics, Kansai University4
名古屋大学 大学院情報学研究科
4
Graduate School of Informatics, Nagoya University
1

1

Abstract: ユーザに寄り添うシステムは，利用者の感情を推定し適応することが重要である．イン
タラクション中の表情画像から感情を推定するためには機械学習のための表情データベースが必要となるが，日本人高齢者が含まれるものは少ない．そこで本研究では日本人高齢者の 8 感情 (喜び・悲しみ・恐怖・驚き・怒り・嫌悪・興奮・リラックス) の表情と無表情を撮影したデータベースを構築し，心理評定を行った．全体的な適合率は約 34%で，恐怖と興奮を意図した表情は，他の感情に混同されやすかった．

1

はじめに

現在，世界中で高齢化は急速に進展し，特に日本は世界で最も高い高齢化率である [1]．心身ともに健康な健康寿命の延伸のためのトレーニングプログラムの開発が盛んに行われている．また，高齢者のモチベーションを保つためには，感情や状態を分析しインタラクティブに難易度を変化させることなどが求められている．我々もこれまでに，高齢者を対象として表情要素を取り入れた認知機能と身体機能のマルチタスクトレーニングを開発するとともに，エージェントの表情変化による気分・意欲の向上について検討してきた [2, 3]．感情を推定する指標として表情があり，コンピュータによる顔画像からの感情推定が盛んに行われている．
しかし，コンピュータが日本人高齢者の表情画像から感情を推定することは，現状難しい．それは日本人高齢者の表情と感情の対応を集めたデータベースが存在しないためである．日本人高齢者の表情データベースが必要な理由は二つある．
∗ 連絡先：名古屋大学情報学部コンピュータ科学科〒 464-8603 愛知県名古屋市千種区不老町
E-mail: murakami@cmc.is.i.nagoya-u.ac.jp

一つは，外国人と日本人で表情特徴に異なる部分がある．エクマンら [4] は基本的な感情に対する普遍的な表情があると述べている．しかし佐藤ら [5] の報告によると，日本人が表出する表情にはエクマンらの主張に一致しない部分がある．そのため，海外に既に存在するエクマンらの主張を中心とした多数の表情データベースで日本人を対象とした感情認識器を学習することは難しい．よって，日本人の特徴に合わせた表情データベースが必要となるが，高齢者を含むものは少ない．
次に，若年層と高齢者では、加齢に伴う表情筋の衰えなどで着目すべき点が異なる可能性がある．表情表
出時の動きが皺の影響で隠れてしまうことや，表出に必要な筋力が衰えている可能性が指摘されている [6]．
前述の通り，日本人を対象とした表情データベースも存在するが，それらに含まれる高齢者表情は少なく，一般化した高齢者表情特徴を得るには，より大規模な収集が必要である．
我々はこれまで，日本人高齢者の表情データベースを構築し，日本人高齢者に特有な表情特徴を探索した[7]．表情データベース構築では，日本人高齢者 111 名(73.2 ± 4.6 歳; 男性 56 名・女性 55 名) を対象に 8 感情

(喜び・悲しみ・恐怖・驚き・怒り・嫌悪・興奮・リラックス) に対応する表情と無表情を，シナリオに基づく想起と写真模倣でそれぞれ表出し，撮影した．撮影した表情画像を表情解析システムの OpenFace で解析し，高齢者表情の一部はエクマン理論が規定する表情と異なる特徴があることを示した．ここで，エクマン理論とは異なる表情特徴を示す日本人高齢者表情から，感情の推定が可能であるかは未確認であった．
そこで本研究では，日本人高齢者表情データベースの構築で撮影した日本人高齢者表情を人間がどう認識するかを 36 名の協力者による心理評定実験で調査した．その結果，喜び・驚き・怒り・嫌悪・無感情表情を他の表情より正確に認識することができた．

図 1: 撮影した動画中のフレーム例

3
2

関連研究

各感情には普遍的な表情が存在する．これはエクマ
ンら [4] が構築した経験的理論である．エクマンらは，基本的感情に特有の普遍的で原型的な表情が存在すると，観察実験で確認した．また表情を，顔の動きで分類した Facial Action Coding System(以下，FACS)[8]を開発した．FACS では Action Unit(以下，AU) として表情筋の活動を符号化し，表情を表現した．
しかし，このエクマン理論は日本人の表情を対象とした場合に部分的に適用される．佐藤ら [5] は，日本人65 名を対象に，基本 6 感情 (喜び・悲しみ・恐怖・驚き・怒り・嫌悪) のシナリオに基づいて表情の表出を調べた．結果，基本的な感情を表す特定の表情があることは認めつつも，喜び・驚き以外の感情の表情は，エクマン理論が示す表情に一致しないと確認した．
高齢者と若年層は加齢の影響で表情表出特徴が異なる可能性がある．中村ら [6] は日本人高齢者 25 名を対象に 8 表情 (基本 6 感情+軽蔑+中立) の表情撮影を行い，それらを 30 名の大学生が評定した．その結果，恐怖，嫌悪，軽蔑を表す表情は，評定者に判別できるような表情が作られていなかった．これより中村は，表情筋の衰えによって普段表出する機会の少ない感情で表出が弱い，表出しづらい可能性を指摘している．
日本人を収録したデータベースとしては AIST 顔表情データベース [9] や ATR 顔表情データベース [10] などがある．これらは 20 代から 30 代の若年層が対象で，高齢者は含まれない．一般に利用可能な日本人高齢者の表情データベースは 2022 年 1 月末時点で確認できていない．日本人高齢者がどのような表情で感情表現を行うか，文化面・加齢面の両方から検証するために，新たな表情データベースを構築する必要がある．

日本人高齢者表情データベース

本研究では，我々[7] がこれまでに撮影・構築した日本人高齢者表情データベースを用いた．表情データベースの構築で，日本人高齢者 111 名 (男性 56 名，女性 55名，73.2 ± 4.6 歳．以下，参加者) を対象に表情の収録を行った．表情表出はシナリオによる表出と，写真模倣による表出を行った．表情データベースには 8 つの感情 (喜び・悲しみ・恐怖・驚き・怒り・嫌悪・興奮・リラックス) に対応する表情と，無表情を収録した．撮
影した動画中のフレーム例を図 1 に示す．
本研究はシナリオで表出した表情を用いた．シナリ
オ表出は，各感情に対応したシナリオを高齢者に提示し，そのシナリオに合った表情表出を求めた．よって，写真模倣では得られない，高齢者の自発的な表情表出が確認できる．提示したシナリオは先行研究 [5] で用いられた感情シナリオを参考に作成した．
参加者は前述の通り日本人高齢者 111 名 (男性 56 名，女性 55 名，年齢:73.2 ± 4.6 歳) である．参加者は 60 代から 80 代の男女で，演劇経験などを問わず募集し，日常生活に支障の無い視力，聴力，歩行能力，言語能力を有し，日本語を母国語とし，顔表情の取り扱いおよび公開に関する同意事項に同意いただける方とした．参加者には，実験内容と撮影方法に加え，収集した顔画像の取り扱いに関して，研究機関等の申請に基づいて研究・開発用途に限定して利用することができ，個人が識別できるデータの一般への公開はしないことを誓約する文書を取り交わした上で第三者に提供する旨の説明を行い，同意を得た．本研究は，名古屋大学未来社会創造機構倫理委員会の承認を得て実施された（承認番号：2021-32）．

図 2: 表情最大表出フレーム選択手順

図 3: 心理評定プログラムの画面例(フリー素材ぱくたそ（www.pakutaso.com）の画像を使用)

4

表情データベースに収録する表情の心理評定日本人高齢者表情データベースに収録する高齢者の各表情が，どの感情をどれくらいの強度で表出していると感じるか，36 名の協力者 (男性 18 名，女性 18 名，年齢:39.3±11.6 歳) で心理評定を行った．この結果は本表情データベースを用いて行う心理実験等で，目的に合った感情・強度の表情を選ぶ指標に活用できる．

4.1

手順

前述した 36 名の協力者 (男性 18 名，女性 18 名，年齢:39.3±11.6 歳) がそれぞれ 16 名の高齢者 (男性 8 名，女性 8 名) の表情画像の評定を行った．前後に登場する高齢者の表情によって偏りがないよう，協力者ごとに異なる高齢者の組で評定した．各表情は 5 名以上の協力者から心理評定を受けた．協力者は 20 代から 50代の男女で，表情研究・心理評定などの経験を問わず募集し，日常生活に支障の無い視力，言語能力を有し，日本語を母国語とする方を対象とした．協力者には高齢者の表情表出時の状況は伝えずに実施した．
比較対象には，表情が最も強く表出されたフレームを用いた．フレームの選択手順を図 2 に示す．まず，撮影した表情表出動画から各フレームごとに表情解析システムの OpenFace で AU 強度を算出する．次に，算出した AU 強度の総和を求める．そして，この総和が最大値をとるフレームを，表情最大表出フレームとして選択した．ただし，人物固有の皺やたるみに依る AU への影響を低減するため，各フレームの AU 値から無感情時の AU 強度平均を引いた上で表情最大表出フレームを求めた．ただし，無感情の表情に限り，AU の総和が最小となるフレームを用いた．
協力者は評価する感情と対応する表情の確認，評定の練習，本番評定の順に心理評定に取り組んだ．評価する感情と強度の確認では，高齢者表情撮影の模倣条件で用いた模倣対象の顔画像を示した．表情画像と対応する感情をスライドで示し，それらを評価の基準強度 (中程度) として指示した．評定の練習では実際に高齢者の画像を用いて，評定プログラムの操作方法を確認した．なお練習に用いた画像は，その協力者の本番の評定には含めていない．本番評定では各画像で選択した感情とその強度，決定までの時間を計測した．画像は同じ高齢者の間は表出方法・感情をランダムな順序で表示した．
高齢者が表出を意図した感情を真値，協力者が回答した感情を予測値として分析した．協力者が高齢者の意図した表情表出を評定することができたか，各表情ごとに適合率を求め，マクロ平均を基準に判断した．
心理評定に用いたプログラムは，オープンソースア
プリケーションの PsychoPy[11] で作成した．実行時の例を図 3 に示す．このプログラムでは，画面左に表示される顔画像を見て，どの感情を示しているかを中央の9 択もしくは「わからない」から選択する．次に，選択した感情の表出強度を，画面右のスライダーから選択して，次の画像の評定へと移る．プログラムは 15.6 インチのノートパソコン上で表示・実行した．PsychoPy
は v2021.2.3 を使用した．

4.2

評定結果

評定の精度，F 値のマクロ平均，各表情の適合率，再現率，F 値を表 1 に，評定結果を図 4 の混同行列に示す．表 1 より，協力者は，高齢者の喜び・驚き・怒り・嫌悪・無感情表情をマクロ平均 (0.298) 以上の適合率で評定できた．また，高齢者の喜び表情で適合率が最も高い．一方，高齢者の恐怖表情の評定結果は最も悪い精度だった．

4.3

考察

まず，協力者は喜び・驚き・怒り・嫌悪・無感情の 5
つの表情で，高齢者の意図した表情表出を他の表情表出より高い精度で認識できたことから，高齢者表情から一部の感情を読み取ることができる可能性があると考えられる．一方，高齢者の恐怖表情は他の感情に混同されやすかった．この結果は先行研究 [9, 10, 12] が示した日本人表情の識別で，恐怖を混同しやすい結果を支持する．従って，日本人高齢者に対しても若年層と同様に表情認識の混同が起きることがわかった．

表 1: 心理評定結果評価
評価項目
適合率
再現率
F値精度

マクロ平均0.298
0.304
0.290
0.341

喜び

悲しみ

恐怖

驚き

怒り

嫌悪

興奮

0.520
0.480
0.499

0.244
0.335
0.282

0.219
0.109
0.146

0.346
0.565
0.429

0.439
0.279
0.341

0.379
0.288
0.327

0.278
0.187
0.223

リラックス
0.221
0.350
0.271

無感情

0.336
0.451
0.385

た結果，画像のみより喜びの精度が向上したことから，文脈が識別精度の向上に寄与することを示した．従って，より高い精度で感情を認識するには表情以外の情報も重要である．

5

r: 各感情の正解ラベル数で正規化した結果
n: 推定ラベル数

図 4: 心理評定結果の混同行列
次に，本研究の心理評定精度は，既存の心理評定実
験の精度 (例: 藤村ら [9]: 適合率 0.77) より低かった．本
研究の心理評定精度が低い要因として，先行研究 (8 分類) より分類数が多く，チャンスレートが低下するほか，表出した高齢者，評定した協力者ともに不慣れな行為であったためだと考えられる．まず，表情を表出した高齢者には，表情についての専門的知識や演技経験を求めていない．米谷ら [13] は未経験者が目的の表情を作ることは容易ではないことを指摘していて，本研究でも期待する表情を満足に表出できなかった可能性がある．次に，評定参加者も表情についての専門知識や識別経験を求めていない．米谷ら [14] は，予め表情認識の訓練を受けていない場合，適合率は 7 割に満たず，特に恐怖では 2 割程度だと述べてる．本研究の心理評
定適合率も，最も良い喜びで 5 割程度，恐怖で 2 割程度と，米谷らの主張に当てはまり，高齢者表情の心理評定でも，若年層表情の心理評定と同様の傾向があると考えられる．
認識精度は，動画や音声情報，ジェスチャー，表情表出中の背景情報を協力者に伝えることで向上する報告がある．藤村ら [9] は動き情報を与えることで恐怖，嫌悪 (口開き) での精度が有意に上昇したと報告している．また，米谷ら [13] は TV ドラマ中の感情識別を行っおわりに本研究ではユーザに寄り添うシステムにおける顔画像に基づく感情推定を実現するため，特に日本人高齢者の表情と感情の対応に焦点を当て，表情データベースの作成と協力者による心理評定実験を行った．表情データベースには，日本人高齢者 111 名 (73.2 ± 4.6 歳;
男性 56 名・女性 55 名) の 8 つの感情 (喜び・悲しみ・恐怖・驚き・怒り・嫌悪・興奮・リラックス) と無表情の顔画像を収録した．
心理評定では，喜び・驚き・怒り・嫌悪・無感情表情で，高齢者の意図した表出を協力者が認識できた．この結果は，日本人高齢者表情から感情を推定できる可能性があることを示唆する．また恐怖表情が他の表情に混同されやすかったが，この結果は他の日本人若年層表情の心理評定実験結果に一致する．従って，日本人は世代を問わず，恐怖感情を表情で他者に伝えることが難しいと考えられる．
今後に向けては，実際に表情データベースを活用した支援システムの開発を検討している．我々は高齢者を対象に，心と身体の両方を同時にトレーニングする心身マルチタスクトレーニングの開発に取り組んでいる．その中で，高齢者の感情を認識し，楽しく継続的にトレーニングに取り組むためのトレーナーエージェン
トの開発を行っている．この高齢者の感情認識に，日本人高齢者表情データベースを活用する予定である．

謝辞
本研究は，国立研究開発法人科学技術振興機構（JST）の COI ストリーム課題「人がつながる “移動” イノベーション拠点」の支援により行った．また，本研究は一部
JSPS 科研費 19K12090 の助成を受けて実施した．実験にご協力いただいた実験参加者の皆様に感謝する．ATR
顔表情データベースは，株式会社 ATR-Promotions の使用許諾を得て使用した．AIST 顔表情データベース

は，国立研究開発法人産業技術総合研究所人間情報研究部門の使用許諾を得て使用した．

参考文献[1] 内閣府，“令和 3 年版高齢社会白書 (全体版),” 2021．
[2] 岩田伸治，吉田直人，米澤朋子，榎堀 優，間瀬健二，“ユーザの笑顔に応じたエージェントの表情変化による笑顔増幅・気分向上手法の検討,” 信学
技報，vol.121-53，pp.31–36，2021．
[3] 吉田直人，今井達矢，村上大斗，米澤朋子，榎堀優，間瀬健二，“心身マルチタスクトレーニングにおける笑顔表情刺激を用いた認知反応課題がトレーニングの気分と意欲に与える影響の予備的検討,” HCG シンポジウム，2021．
[4] P. Ekman，W.V. Friesen，工藤 力，表情分析
入門 : 表情に隠された意味をさぐる，誠信書房，1987．
[5] W. Sato, S. Hyniewska, K. Minemoto, and S.
Yoshikawa, “Facial expressions of basic emotionsin japanese laypeople,” Frontiers in Psychology,
vol.10, p.259, 2019.
[6] 中村 真，益谷 真，“高齢者の感情表出,” 感情心理学研究，vol.7，no.2，pp.74–90，2001．
[7] 村上大斗，吉田直人，米澤朋子，榎堀 優，間瀬健二，“日本人高齢者の表情データベース構築と表情解析システムによるベンチマーク,” HCG シンポジウム，2021．
[8] E. Friesen and P. Ekman, “Facial action coding
system: a technique for the measurement of facialmovement,” Palo Alto, vol.3, no.2, p.5, 1978.
[9] T. Fujimura and H. Umemura, “Developmentand validation of a facial expression database
based on the dimensional and categorical modelof emotions,” Cognition and Emotion, vol.32,
no.8, pp.1663–1670, 2018. PMID: 29334821.
https://doi.org/10.1080/02699931.2017.1419936[10] ATR-Promotions, “ATR 顔 表 情 デ ー タ ベ ース DB99,” http://www.atr-p.com/products/face-db.html，2006．
[11] J. Peirce, J.R. Gray, S. Simpson, M. MacAskill,R. Höchenberger, H. Sogo, E. Kastman, andJ.K. Lindeløv, “PsychoPy2: Experiments in behavior made easy,” Behavior Research Methods, vol.51, no.1, pp.195–203, Feb. 2019.
https://doi.org/10.3758/s13428-018-01193-y[12] M. Dailey, C. Joyce, M. Lyons, M. Kamachi,H. Ishi, J. Gyoba, and G. Cottrell, “Evidence
and a computational explanation of cultural differences in facial expression recognition,” Emotion (Washington, D.C.), vol.10, pp.874–93, Dec.
2010.
[13] 米谷 淳，瀧上凱令，“日米の TV ドラマを用いた表情識別実験,” 国際文化学研究 : 神戸大学国際文化学部紀要，vol.3，pp.29–54，1994．
[14] 米 谷 淳 ，津 田 兼 六 ，千 葉 浩 彦 ，山 田 寛 ，原 島 博 ，“MASC で 合 成 し た 表 情 の 評
価,”Human Interface, News and Report，vol.6，no.4，pp.379–388，1991．
https://ci.nii.ac.jp/naid/10021893975/