情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-80
2020/3/9

深層学習を用いた感情解析システムによる集中度の定量化中田亘†1

土田泰子†1 外山茂浩†1

概要：近年，Couresera,edX などの遠隔教育サービスが社会的に注目を集めている．しかしながら遠隔教育において，従来の授業形態と同様に，教員が学生の状態を感じ取るのは困難である．このような状況下ではクラスの雰囲気を可視化し，教員に提示するシステムの構築が望まれる．本研究では「クラスの雰囲気の可視化」の第一段階として深層学習を用いた感情解析システムにより，顔画像から推定された感情と，教員による集中度判定の関連性を明らかにし，またその有効性を確認する．

1. はじめに現在，オンライン学習サービスなどの遠隔教育が社会的に注目を集めている．通常の授業形式と比べ遠隔教育ではコミュニケーションをとることが困難であることは容易に想像できる．また，通常の授業形式においても，教師1名に対する受講学生が増加するほど，学生個々の表情を把握するのは困難となる．そのような状況下では，クラスの雰囲気といったものを可視化し，教員に提示するシステムの構築が望まれる．
そこで本研究では「クラスの雰囲気の可視化」の第一段階として，学生の集中度の可視化を試みる．まず深層学習を用いた感情解析方法を用いて授業内における学生の感情を解析

図 1 ラッセルの円環モデルする．これにより，学生の顔画像と，それに対応する感情のデータを収集する．そのデータに対して複数の教員が集中度判定を行う事により，感情と教員が集中していると感じる表情の関連性を明らかにする．

図 2 表情 A

2. ラッセルの円環モデル

図 3 表情 B

図 4 表情 C

感情表現方法には主に，顔画像を喜び，悲しみ，怒りなどの感情カテゴリに分類するカテゴリモデルと，次元モデルと呼ばれる感情を連続な空間で表すモデルがある．本研
究では後者の次元モデルの一つである，ラッセルの円環モデルを基礎とし，人間の情動を幸福度，覚醒度の二次元の図 5 感情解析システム出力結果指標（VA 空間，図 1）で表現する感情解析システムを構築する．前者の感情カテゴリ分類法用いた場合，様々な感情力は人間の顔画像とし，出力は幸福度，覚醒度とする．

が混在する表情や感情の強度まで表すことはできないのに対し，本研究で基礎とする次元モデルの一つであるラッセルの円環モデルでは，VA 空間における一座標として複雑な表情を表すことが可能となる．

3.1 教師データ
本研究では顔表情データセットに AffectNet[2]を使用する．
このデータセットは約 100 万枚の顔画像データから成り，そのうちの約44万枚は手動で，残りは自動的にラベル付けされ3. 感情解析システム
感情解析システムでは深層学習を用いて幸福度，覚醒度を推定する回帰問題に取り組んだ．そのシステムにおいて，入ている．ラベルは幸福度と覚醒度の強度をそれぞれ[−1，1] で表している．本研究では，手動でラベル付けされた44万枚を用いた．

†1 長岡工業高等専門学校© 2020 Information Processing Society of Japan769

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-80
2020/3/9

図 6 画像郡例（画像は AffectNet[2]より引用 実験は学生の画像を使用）
3.2 ネットワークモデル
ネットワークモデルには ResNeXt50x32x4d[3]を使用した．
これは ResNet の改良版であり，ILSVRC などのコンペティションで優れた性能を残している．本研究ではモデルを集中度判定

ImageNet で学習させた後，全結合層の出力数を VA 空間に対応するように変更し AffectNet において転移学習させた．
3.3 感情解析システムの評価構築した感情解析システムの基本的な有効性を確認するために，20 代男性 1 名の顔画像を用いて評価を行った．図 2 はニュートラル（VA 空間で原点），図 3 は笑顔（VA 空間で幸福度軸上），図 4 は驚き（VA 空間で覚醒度軸上）の感情を示す表情である．図 2～4 に対する解析結果を図 5 に示す．システ
ムの解析結果が各表情に対応した VA 空間における座標を示していることから，システムは感情を概ね解析できており，且つ感情の強度も示せていることが確認できる

図 7 教員による集中度判定と感情の関連性4.3 教員による回答と感情の関連性
4.2 節で説明した操作により，3 人の教員による集中度判定が得られた．これに対し，k 最近傍法を用いて，感情と集中度判定の関連性を可視化したものを図 7 に示す．この4. 集中度定量化

図から，集中度が高く判定される感情は，VA 空間におい本研究では集中度定量化において，「授業中の学生の表て，原点近傍第 2 象限に分布していることがわかる． また情」，「教員による表情への集中度判定」の 2 つのデータを教員の違いによる集中度判定の差異を確認するため，k 最収集した．それぞれ 4.1 節，4.2 節で説明する．また，収集近傍法に用いる学習データを教員 3 人の内 2 人を無作為にしたデータを k 最近傍法を用いて解析した結果を 4.3 節に抽出して学習を行い，残りの一人をテストデータとして出示す．

力結果とテストデータ差が± 2に入る割合を求めた．その割合が約 64.2%であったことから，教員の集中度判定には，4.1 学生の表情
学生の表情は，長岡高専における授業中の学生を撮影することにより収集した．まず，授業中の動画を撮影する．

教員の違いによらない共通項といえるものが存在し，その判定結果に基づく図 7 のマップの基本的な妥当性を確認した．

次に，毎秒ごとの動画から顔領域を顔判別アルゴリズムに入力することにより抽出し顔画像を生成する．生成した顔画像を，感情解析システムに入力することにより，学生の表情と対応する VA 空間における座標が得られる．
4.2 教員による集中度判定
集中度判定は，次に示す手順で行った．まず，授業中の5. 今後の課題構築した感情解析システムを用いて，授業中の感情と教員による集中度判定の関連性を調査した．今後は，教育効果の向上にむけて感情を時系列データとして扱う事により更なる集中度判定精度の改善を検討する．

学生の感情に対し k 平均法を用いて 10 個のクラスタにク参考文献ラスタリングする．次に各クラスタに対応する学生の表情[1] J. Russell, “A circumplex model of affect,” Journal of personality
and social psychology, vol. 39, no. 6, pp. 1161–1178, 1980.

20 枚を無作為に抽出し，図 6 のような画像郡を作成する．
10 個のクラスタに対してこの操作行うことで，10 個の画像郡が生成される．最後に，生成された画像郡を比較する
ことにより，一番集中していると感じる表情にラベル 9，
一番集中していないと感じる表情にラベル 0 と判定することにより，10 段階の集中度判定を長岡高専の教員に依頼した．尚，今回は 3 人の教員から，5 つの授業に対して回答を得た．

© 2020 Information Processing Society of Japan[2] Ali Mollahosseini, Behzad Hasani, and Mohammad H. Mahoor,“AffectNet: A New Database for Facial Expression, Valence, andArousal Computation in the Wild”, IEEE Transactions on AffectiveComputing, 2017[3] Aggregated Residual Transformations for Deep Neural Networks
Saining Xie and Ross Girshick and Piotr Dollár and Zhuowen Tuand Kaiming He, 2016.

770