C1-3

学習者の理解・定着状況の自覚を促すための異常検知を用いた問題演習中の表情の変化の抽出方法
An Extracting Method of Facial Expression Change in Problem Exercise
Using Anomaly Detection for Support Students Awareness of Understanding
and Retention Status
枝窪 悠*1, 森本 康彦*2
Haruka EDAKUBO*1, Yasuhiko MORIMOTO*2*1
株式会社デジタル・ナレッジ*1
Digital Knowledge Co. Ltd.
*2
東京学芸大学*2
Tokyo Gakugei University
Email: edakubo@digital-knowledge.co.jp
あらまし：e ラーニングにおいては，問題演習に取り組みながら学ぶ場面が多く見られるが，問題の正誤を確認するだけでは，たまたま正解したのか，自信を持って解けたのかといった，学習者が自身の理解・定着状況を自覚することは難しい．そこで，本研究では，問題演習における学習者の自身の理解・定着状
況の自覚を促すことを目的に，異常検知を用い，問題演習中に無意識に出る学習者の表情の変化を抽出して，その変化を学習者が確認しながら問題演習の過程を振り返ることで，理解・定着状況の自覚を促すことを目指す．本論文では，異常検知を用いた問題演習中の表情の変化の抽出方法について述べる．
キーワード：e ラーニング，問題演習，理解・定着状況，表情認識，異常検知，外れ値分析，変化点検知

1.

はじめに学校教育や企業内教育をはじめ，さまざまな学習場面において e ラーニングが活用されている．このe ラーニングにおいては，デジタルドリルや CBT 等，問題演習に取り組みながら学び進めていく場面が多く見られる．しかし，出題された問題に対する正誤に執着してしまうことで解答や解法の暗記に陥ってしまうことが懸念され，問題演習中に取り組んだ問題に対して，自分はたまたま正解したのか，自信を持って解くことができたのか，苦手または難しいと感じる部分はどういう内容かといった，理解・定着状況を自覚することを難しくしてしまう．
問題演習における学習者への支援として，たとえば，問題演習中の学習者の表情から自信の有無を教師あり学習により分類することで，問題演習中の学
習者の表情を見える化する取組みがあり，この取組
みの検証の結果，学習者の表情を見える化することで，学習者は問題演習中の解答の過程に着目して振り返るきっかけとなることが明らかにされた(1)．
ここで，問題演習中に無意識に出る学習者の表情の変化を何かしらの方法で抽出して，その変化を学習者が確認することで，自身の理解・定着状況の自覚を促すことができるのではないかと考えられる．
そこで，本研究では，問題演習における学習者の自身の理解・定着状況の自覚を促すことを目的とする．具体的には，異常検知を用いて問題演習中に無意識に出る表情の変化を抽出し，その変化を学習者が確認しながら問題演習の過程を振り返ることで，理解・定着状況の自覚を促すことを目指す．本論文
では，異常検知を用いた問題演習中の表情の変化の抽出方法について述べる．

2.

異常検知を用いた問題演習中の表情の変化の抽出するためのアプローチ

2.1 問題演習中の表情の変化
表情を捉えるための方法として表情認識がある．
表情認識は，顔の画像データに基づいて感情の特徴を読み取ることで表情を認識，推定するものである．
たとえば，Face++の Facial Recognition の Detect API
では，顔が写った画像データを与えることで，その画像中の顔の Anger（怒り），Disgust（嫌悪），Fear（恐怖），Happiness（喜び），Neutral（無表情）と Sadness（悲しみ），Surprise（驚き）のそれぞれの感情の割合を算出し，その値を取得できる(2)．
したがって，問題演習中の学習者の顔の画像デー
タを断続的に収集するとともに，収集した画像デー
タを表情認識させて，それぞれの感情の割合を表す数値データ（以下，感情スコア）を取得しておくことで，問題演習中，学習者がどの問題を解いている最中にどのような表情の変化があったのかを捉えるためのデータを生成できるようになると考えられる．
2.2 異常検知
学習者の問題演習中の断続的な感情スコアに基づいて表情の変化を抽出する方法として，異常検知に着目する．異常検知には，外れ値分析と変化点検知がある．外れ値分析とは，データの大部分の傾向に照らして，傾向と異なるような値や分析結果の精度を悪化させるような値を検出する手法であり，統計調査等におけるデータ処理の過程で用いられることが多い(3)．変化点検知とは，時系列データにおける異常を検知する手法であり，ある時系列においてデータのパターンが変化した時点（増加した，あるいは，減少した時点）を把握することができる(4)．
したがって，問題演習中の学習者の感情スコアの時系列データに対して異常検知を行うことで，感情スコアの変化による問題演習中の表情の変化を抽出することができるようになると考えられる．
2.3 異常検知を用いた問題演習中の表情の変化の抽出方法
前節までの議論を踏まえ，本研究では，問題演習中の学習者の顔の画像データを収集して表情認識により時系列の感情スコアを得て，その感情スコアにおける異常検知を行うことで，問題演習中の表情の― 21 ―

教育システム情報学会 JSiSE2023
第48回全国大会 2023/8/29-8/31

表１ 外れ値分析および変化点検知の結果変化を抽出することを目指す．具体的には，学習者の問題演習の開始から終了までの間，断続的に学習者の顔の画像データを収集する．次に，収集した画像データに対して表情認識を行い，感情スコアを取得する．そして，得られた問題演習中を通した感情スコアに対して異常検知を行い，感情スコアの変化を抽出することを試みる．
このように異常検知を用いて問題演習中の表情の変化を抽出することで，学習者が問題演習に取組んでいる最中の無意識な表情の変化を捉えることができ，問題演習後に学習者が，問題演習中の自身の表情の変化を確認することで，問題に正答，誤答したかを確認するだけでなく，偶然正解したのか，自信を持って解くことができたのかなどの理解・定着状
況の自覚を促すことができると期待される．

3.

感情
怒り
嫌悪
恐怖
喜び
無表情
悲しみ
驚き

最小外れ値
最大平均

最小変化点
最大平均

152
133
133
109
00129

270
296
348
308
196
233
383

221
234
231
221
789223426
194
43598152
90

342
388
224
366
641
426
461

190
307
125224367200245

異常検知を用いた問題演習中の表情の変化の抽出方法のシミュレーション

異常検知を用いた問題演習中の表情の変化の抽出のシミュレーションを 4 名の協力者を対象に行った．
具体的には，数学Ａの確率に関する問題 15 問を用意しノート PC 上で問題演習を行ってもらい，開始から終了まで 1 秒おきに 1 枚ノート PC の内蔵カメラで顔の画像を取得した．
3.1 外れ値分析のプログラム
外れ値分析は，Python を用いて分析を行った．具
体的には，第一四分位数と第三四分位数及び四分位
範囲はそれぞれ，新たに入力される感情スコアから算出する．レンジは得られた感情スコアが外れ値か決定する尺度を示す．新たに入力された感情スコアが(1)式より小さい場合，または，(2)式より大きい場合，その感情スコアを外れ値として扱うこととした．
ここでは，レンジを 1.5 に設定した．
下限値 = 第一四分位数 － レンジ × 四分位範囲 (1)上限値 = 第三四分位数 + レンジ × 四分位範囲(2)

3.2 変化点検知のプログラム
変化点検知は，Python の Change Finder を用いた．
Change Finder では，忘却パラメータ，AR モデルの次数，平滑化処理を行う際の一定時間（平滑パラメータ）をパラメータとして扱いその値から変化点スコアを推定する．推定された変化点スコアの値が設定した閾値を超過した場合，変化点として検知する．
ここでは，忘却パラメータを 0.02，AR モデル次数を2，平滑パラメータを 30，閾値を 90 に設定した．
3.3 結果と考察得られた画像データに対し Detect API により協力者 4 名の感情スコアを取得したところ，怒りが 0.0－99.30，嫌悪が 0.0－99.88，恐怖が 0.0－97.86，喜びが 0.0－99.88，無表情が 0.0－99.99，悲しみが 0.0－99.99，驚きが 0.0－99.28 の範囲で推移していたことが分かった．得られた感情スコアに対し外れ値分
析と変化点検知行ったところ表１の結果が得られた．
外れ値に関しては，協力者全員に怒り，嫌悪，恐怖，喜び，驚きに外れ値が抽出されたが，協力者のうち 2 名において無表情と悲しみに外れ値が抽出されなかった．これは，無表情と悲しみの感情スコアが交互に高い値をとっていたことが要因として考え

図 1 変化点検知の分析結果（協力者１名の抜粋）（左上：恐怖，左下：悲しみ，右上：喜び，右下：驚き）られた．このことから，外れ値分析に関しては，怒り，嫌悪，恐怖，喜び，驚きに着目すると表情の変化を抽出できる可能性が伺えた．
変化点に関しては，協力者全員にすべての感情において変化点が抽出され，平均して無表情，嫌悪，驚き，喜び，悲しみ，怒り，恐怖の順に多く変化点が抽出された．協力者の 1 名の変化点検知の結果を図１に示す．図１の各グラフの左軸（赤線）は感情スコア，右軸（青線）は変化点スコアを表し，横軸は問題演習中の時間（秒）を表す．感情スコアと変化点検知の結果を照らすと，協力者全員，基本的に無表情の感情スコアが 100 で高止まりしている傾向があり，表情に変化が起きると，何かの感情スコアが大きくなる傾向が見られ，そのタイミングで同時に複数の感情について変化点が抽出されることが分かった．このとき，怒りのみ，嫌悪のみに変化点が抽出されることがほとんどないことが分かった．
以上の結果を踏まえると，問題演習中の表情の変化に関して異常検知を行う際は，恐怖，喜び，驚きに着目することが重要である可能性が示唆された．

4.

おわりに

本論文では，異常検知を用いた問題演習中の表情の変化の抽出方法を述べた．今後は，詳細なシミュレーションを行い，本手法に基づく問題演習支援システムの開発を行っていく．
参考文献(1) 長谷川颯, 田中遼, 森本康彦:“教師あり機械学習による問題演習中の学習者の表情の見える化の効果検証”, AI 時代の教育学会第 4 回年次大会, pp.5-6 （2022）(2) MEGVII：“Facial Recognition – Detect API”，https://console.faceplusplus.com/documents/5679127 (参照日：2023.6.7)（2017）(3) 野呂竜夫, 和田かず美:“統計実務におけるレンジチェックのための外れ値検出方法”, 統計研究彙報, Vol.72, pp.41-54（2015）(4) 山村翔, 熊谷充敏, 神谷和憲, 倉上弘:“変化点検知を用いた新種スキャンの早期発見手法の検討”, Computer Security Symp
osium2017, pp.823-830 （2017）― 22 ―