情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1B-49
2023/3/1

学習支援のための顔の温度と感情のデータベース作成システム
中田 豊久1,a)

三浦 元喜2,b)

近山 英輔1,c)

概要：学習支援システムでの利用を目的とした学習者の顔の皮膚温度と感情のデータベースを作成することが本研究の目的である．このデータベースをもとに作成される感情推定を用いると，例えば学習者が不安を感じていたりイライラとしているときに適切に介入するシステムを構築することができる．本論文では，サーモグラフィによる取得される顔の 54 か所のそれぞれの温度と，被験者が自ら入力する感情とを記録するシステムについて述べる．

1. はじめにがある．この一連の研究の中から，可視光の顔画像から感情を推定する研究は従来から行われている．可視光の顔画

学習者の学習時の感情を考慮する教育支援がある．

像と感情とのセットである感情データベースにはいくつか

Pekrun ら [7] は，そのような教育効果に関連する学習のものが提案されている．例えば AﬀectNet[6] があり，こ者の感情を Academic Emotion と呼んでいる．Pekrun ら

れを使用した機械学習モデルも提案されていている [10]．

はアンケートにより，学生の (1) クラスに対する，(2) 学

ただし感情推定の精度はあまり高くない．

習に対する，そして (3) テストに対する不安や自信などの感情を取得し，その学生の成績との関係を調査している．

2.2 生体情報による感情推定

また，Picard の提唱する感情や感性を取り扱う Aﬀective

心拍，皮膚コンダクタンスなどの生体情報を用いて感情

Computing[8] の分野でも感情の教育効果は調査されていを推定する研究がある [12]．顔の皮膚温度については，従て [11]，学習者の感情は近年の学習支援システムの研究で来からストレスがかかると鼻の上で眉間の下あたりの温度も注目されつつある．

が下がることが知られている [2]．ストレスだけでなくサー本研究では，この学習者の感情に注目した学習支援シス

モグラフィを用いて感情を推定する研究には，例えば [3]テムの開発を目指し，顔の皮膚温度と感情とを関連付けるなどがあるが，顔の 54 か所の皮膚温度を総合的に調査しデータベースの作成について述べる．学習支援システムにようとする本研究のような取り組みは見当たらない．

おいて自動的に学習者の感情を取得することができれば，例えば学習者が学習効果に負の相関があるといわれている
不安やイライラを長時間感じているときに，適切に学習者に介入するなどの支援が可能となる．
学習者の感情の推定には，サーモグラフィによって取得される顔の熱画像から 54 か所のそれぞれの顔の位置にお2.3 サーモグラフィ画像からの顔認識
近年では，可視光のカメラが使用しにくい例えば暗闇での使用などを目的としてサーモグラフィから顔の位置を認識する研究がある [4]．本研究ではこの研究成果を用い，教育目的の感情を推定することを試みる．

ける温度を使用して推定することを検討している．

2. 関連研究2.1 Aﬀective Computing
感情を取り扱う計算機環境として Aﬀective Computing[8]12a)b)c)

新潟国際情報大学
千葉工業大学
nakada@nuis.ac.jp
motoki.miura@p.chibakoudai.jp
chikaya@nuis.ac.jp© 2023 Information Processing Society of Japan

2.4 感情を入力するインタフェース
感情の正解データを得ることは，困難であることが多い．
従来から例えば FeelTrace[1] のように，感情を 2 次元座標に配置させ，その中のどこに自分の今の感情があるのかを指摘させるなどの研究がある．これらの研究では，例えば感情を想起させる映画などのコンテンツを鑑賞し，その時の被験者の様子を録画しておき，映画の後でその録画され334

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1B-49
2023/3/1

た動画と，映画自身とを見直してその時の感情を思い出すし，各箇所の画素値から温度を取得する．システムのユーといった使われ方をする．これは映画という感情を想起さ

ザインタフェースは HTML ベースで記述されていて，3.3せるコンテンツがあるときには有効な方法であるが，学習で説明する被験者が自ら入力する感情と 54 か所の温度情時のように学習者の内部で起こっているような事象に対し報を合わせてデータベースに保存される．て想起される感情の場合には，あとから記録動画を見て思い出すことは難しい．

3. 顔の温度と感情のデータベース作成シス
テム
3.1 システムの基本設計
これまでの議論により，次のようなコンセプトで顔の皮

図 1 に 54 か所のランドマークを検出した例について示す．左のグレーベースの熱画像にある緑色の四角が認識された顔であり，その中の赤い点が 54 か所の顔のランドマークである．図の下の小さい緑色の四角は，誤認識された顔である．本システムでは，認識された顔のうち最大の面積を持つ四角形のみを実際の顔であると判定して，このような誤認識を排除している．

膚温度と感情のデータベースを作成するシステムを開発する．

3.3 感情の入力( 1 ) 被験者は，学習やテストを受けながら感情をリアルタイムにシステムに入力する．

( 2 ) サーモグラフィによる熱画像から顔の 54 か所のランドマークを検出し，すべての温度をその時の感情と一緒に記録する．

( 3 ) 作成されるデータベースを学習支援システムで利用することを考慮し，非接触デバイスであるサーモグラ

図 2ホイール型入力デバイスで操作する感情入力画面

フィ以外の特別なデバイスは使用しない．

3.2 顔のランドマーク検出

図 3

感情の図形的表現の例: Plutchik’s wheel of emotion[9]被験者は，学習やテストを行いつつ，自らの感情の変化についてリアルタイムに認識しシステムに入力する．感情を認識する作業は容易ではないため，負荷を減らすために認識する感情は Academic Emotions で調査されている 9 つ
図 1

ランドマークが認識されたサーモグラフィ画像の例 (左)，54(Enjoyment, Hope, Pride, Relief, Anger, Anxiety, Shame,

か所のランドマークの定義 [4](右)Hopelessness, Boredom) のすべてではなくそこから 2 つのみを選び，1 次元上に配置するという方法をとる．例えばサーモグラフィは，スマートフォンに装着できる FLIR 社

Anger，Anxiety を使用した例を図 2 に示す（Anger は怒の FLIR One Pro を使用する．このサーモグラフィは APIりではなく「イライラ」と意訳している）．感情を示すバーがないため，本研究のシステムでは，スクリーンキャプチャの中心は，特別な感情を認識しないニュートラルな状態をを行う Android アプリケーションを構築して熱画像の取表す．

得を行った．その Android アプリケーションは，熱画像を感情は「楽しいし、でも少し恥ずかしい」のように複数のwebsocket を用いて Windows PC へ転送する．Windows

感情が入り混じることがよくある．このような感情を図 2

PC では python アプリケーションによって機械学習モデの 1 次元の左右に配置すると被験者は混乱する．そこで，

ル [4] を用いて熱画像から 54 か所のランドマークを抽出

1 次元でありながら同時に 2 つの感情を測定できるように，© 2023 Information Processing Society of Japan335情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1B-49
2023/3/1

図 3 の Plutchik’s wheel of emotions[9] や FeelTrace[1] のような感情を図形の中に配置した従来の研究成果を参考に2 つの感情を慎重に選択する．このような図形上では，類[4]似する感情は近くに配置されるように考慮されているため，本研究で選択する 2 つの感情は，このような図形の中でできるだけ離れた位置にある互いに交わり難い 2 つの感[5]

情が選択される．
図 2 の感情入力インターフェースは，図 4 のホイール型入力デバイスを使用して操作する．ホイールを左右に動かすと感情を表現する顔アイコンが左右に移動する．被験者は，学習またはテスト時に定期的にこの顔アイコンをホ[6]イール入力デバイスを回して移動させる．
[7]

[8]
[9]

図 4

ホイール型の入力デバイス

このような 1 次元による感情入力は，RankTrace[5] と同[10][11]様の考え方である．RankTrace との差異は，リアルタイムに取得することを目的として，顔のイメージアイコンを配置していることと，Plutchik’s wheel of emotions など感情の図形表現を参考に 1 次元を抽出していることである．

4. おわりに[12]

MATEC Web of Conferences, Vol. 277, p. 02037. EDPSciences, 2019.
Askat Kuzdeuov,
Darina Koishigarina,
DanaAubakirova, Saniya Abushakimova, and Huseyin Atakan
Varol. Sf-tl54: A thermal facial landmark dataset withvisual pairs. In 2022 IEEE/SICE International Symposium on System Integration (SII), pp. 748–753,
2022.
Phil Lopes, Georgios N. Yannakakis, and Antonios Liapis. Ranktrace: Relative and unbounded aﬀect annotation. In 2017 Seventh International Conference on Affective Computing and Intelligent Interaction (ACII),
pp. 158–163, 2017.
Ali Mollahosseini, Behzad Hasani, and Mohammad Mahoor. Aﬀectnet: A database for facial expression, valence, and arousal computing in the wild. IEEE Transactions on Aﬀective Computing, 08 2017.
Reinhard Pekrun, Thomas Goetz, Anne C Frenzel, Petra
Barchfeld, and Raymond P Perry. Measuring emotions
in students learning and performance: The achievement emotions questionnaire (aeq). Contemporary educational psychology, Vol. 36, No. 1, pp. 36–48, 2011.
Rosalind W Picard. Aﬀective computing. MIT press,
2000.
ROBERT PLUTCHIK. Chapter 1 - a general psychoevolutionary theory of emotion. In Robert Plutchik andHenry Kellerman, editors, Theories of Emotion, pp. 3–33. Academic Press, 1980.
Zhengyao Wen, Wenzhong Lin, Tao Wang, and Ge Xu.
Distract your attention: Multi-head cross attention network for facial expression recognition, 2021.
Elaheh Yadegaridehkordi, Nurul Fazmidar Binti Mohd
Noor, Mohamad Nizam Bin Ayub, Hannyzzura Binti
Aﬀal, and Nornazlita Binti Hussin. Aﬀective computing
in education: A systematic review and future research.
Computers & Education, Vol. 142, p. 103649, 2019.
Georgios N. Yannakakis, Roddy Cowie, and Carlos
Busso. The ordinal nature of emotions: An emerging
approach. IEEE Transactions on Aﬀective Computing,Vol. 12, No. 1, pp. 16–35, 2021.

顔の 54 か所の皮膚温度と感情を関連付けるデータベースを作成するためのシステムについて述べた．
今後は，本システムで作成されるデータベースを用いて感情を推定する機械学習モデルを構築し，そしてそのモデルを搭載した感情を考慮した学習支援システムについて構築していきたい．
謝辞 本研究の一部は JSPS 科研費（課題番号 22K12319）の支援によるものです．
参考文献
[1]

[2]

[3]

Roddy Cowie, Ellen Douglas-Cowie, Susie Savvidou*,
Edelle McMahon, Martin Sawey, and Marc Schröder.
’feeltrace’: An instrument for recording perceived emotion in real time. In ISCA tutorial and research workshop (ITRW) on speech and emotion, 2000.
Stephanos Ioannou, Vittorio Gallese, and Arcangelo
Merla. Thermal infrared imaging in psychophysiology:Potentialities and limits. Psychophysiology, Vol. 51,
No. 10, pp. 951–963, 2014.
Eiji Kamioka, et al. Emotions detection scheme using
facial skin temperature and heart rate variability. In© 2023 Information Processing Society of Japan336