SP-08

生体情報を用いた学習中における学習者の感情隠蔽状態の推定及びフィードバック生成
Development of estimation method for Learner's emotional concealment during learning
Using Biometric Information and Feedback Model
篠原 洸一*1, 村松 慶一*2，松居 辰則*3
Koichi SHINOHARA*1, Keiichi MURAMATSU*2, Tatsunori MATSUI*3*1
早稲田大学 人間科学部*1
School of Human Science, Waseda University*2
早稲田大学 グローバルエデュケーションセンター*2
Global Education Center, Waseda University*3
早稲田大学人間科学学術院*3
Faculty of Human Science, Waseda University
Email: koichis9911@toki.waseda.jp
あらまし：教授・学習過程において学習者の心的状況を理解することは重要であるが，学習者はネガティブな感情を意図的に表出しないことがある．本研究では，このようなネガティブな感情を意図的に表出しないことを感情隠蔽と呼び，学習者の生体情報，特に学習者の表情から推定することを検討した．また，感情隠蔽状態を生体情報の時系列データから感情隠蔽の定量化を行い，それを異常値として検出することを試みた．さらに，異常値として推定された感情隠蔽状態を用いてフィードバックモデルを作成することを試みている．
キーワード：生体情報，感情隠蔽，内省報告，表情，Open Face，フィードバック

1.

2.

はじめにコミュニケーションにおいて，相手の発話内容を理解することができないことは日常的に起きうることである．しかし，その状態を解消しないままに会話を継続することは結果的にコミュニケーションの質の低下につながることになる．教授学習過程は教授者と学習者のコミュニケーションとして捉えることができるため，同様のことは学習時においても起きうることである．特に，教授者と学習者という非対称な関係，あるいは学習環境における学習者自身への他者からの評価を鑑みて，学習者は教授者の発話内容が理解できない等のネガティブな感情を意識的に表出しないことがしばしば起きうる(1)．このような状態が継続することは結果的に学習の質の低下につながることになる．本研究ではネガティブな感情を意識的に表出しない行為を感情隠蔽(2)と呼ぶこととする．すなわち，感情隠蔽とは自身のネガティブな感情を認識しながらもその感情を意識的に表出しないことと定義する．このような感情隠蔽状態を本研究では生体情報を用いて推定することができるのではないかと考えた．さらに生体情報から感情隠蔽の定量化をし，異常値として検出することを試行している．この感情隠蔽状態を異常値として検知し，その結果を用いてフィードバックモデルを作成することを試みている．この問題を解決することにより，学習者が隠蔽していた感情を推定することにより，教師が学習者の心的状況をより正確に把握することができ，結果的により質の高い学習が実現できることが期待される．

学習中の感情隠蔽状態と生体情報に関する予備的検討（実験 1）

感情隠蔽は生体情報から得られるのか，もし得られたとしたら，学習中においてどのような反応があるのかということを調査する実験を行なった．具体的には，学習者に本研究での感情隠蔽の定義，実験中に撮影を行うこと，2 回授業を受けてもらい，1 度目はネガティブな感情が生じたら感情隠蔽を行ってもらい，2 度目は通常通りに受けてもらうという教示を与え，こちらが提示した前半は簡単で後半にかけて内容が難しくなっている 25 分程度のオンデマンドコンテンツを視聴している学習者の生体情報を取得した．また，学習中において，感情隠蔽があったのか，あった場合どの時間帯に起きたのかという内省報告を学習者が 2 回オンデマンドコンテンツを見てもらった後に，記録映像を見ながら求めた．取得した生体情報と学習者の内省報告から，感情隠蔽時と平常時において，学習中の呼吸と脈波において違いがあることが示唆された，また，撮影した記録映像を視聴した際に，学習者の表情の違いも示唆された．

3.

学習中における感情隠蔽状態と通常時の学習者の表情に関する検討および分析（実験 2）

実験 1 で得られた生体情報に加えて，表情にも違いがあった．そこで実験 2 では，表情に注目をして分析を行なった．実験 1 と同様の教授を与え，学習中において，感情隠蔽があったのか，あった場合ど― 199 ―教育システム情報学会 JSiSE2023
第48回全国大会 2023/8/29-8/31の時間帯に起きたのかという内省報告を学習者が 2
回オンデマンドコンテンツを見てもらった後に，記録映像を見ながら求めた．Open Face(3)という顔認識に特化したディープラーニングを用いて分析を行なった．さらに今回の分析に用いたのは，この OpenFace から出力される Action Unit(4)の強度を数値化したものを対象に分析を行なった．その結果，Action
Unit2,9,10,12,17,23 の 6 種類で，感情隠蔽時と平常時において差異が示唆された．この 6 種類の Action
Unit を組み合わせてみると考えているような顔ができ，学習者全員で，口周りに何かしらの共通性があるということが示唆された．

4.

感情隠蔽状態を推定する．この①と②の結果を教授者に示す．そこから教授者は学習者に対してフィードバックが必要かそうでないのかということを判断するというフィードバックモデルになっている．このフィードバックを行うことにより，教授者が学習者に対して伝えたいこと，学習してほしいことを正確に伝えることができ，学習効果の向上につながると考える．また，学習者自身に対して，①と②の結果を示すというフィードバックモデルも作成できるのではないかと考える．学習者自身で推定された結果を用いて自主的に学ぶことができるフィードバッ
クモデルに応用することが可能であると考える．

感情隠蔽の定量化および分析（実験 3）

実験 2 で得られた Action Unit の強度の時系列データにおいて異常値を示す時区間と感情隠蔽の関係があるものと仮定し異常値検出(5)の手法を適用した．
分析は 1,2,3,4,5,10,15,20 秒間隔で異常値検出を行なった．結果的に，どの秒数間隔でも異常値を検出することはできたが，実際に学習者の内省報告からあった感情隠蔽時区間と有意な関係性を導くことはできなかった．

5.

学習中における感情隠蔽状態と通常時の学習者の顔の特徴点に関する検討および分析（実験 4）

実験 3 の考察から，Action Unit の時系列データにおいて異常値を示す時区間と感情隠蔽の有意な関係性を導くことはできなかった．実験 1 と 2 と同じ教示を与え，学習中において，感情隠蔽があったのか，あった場合どの時間帯に起きたのかという内省報告を学習者が 2 回オンデマンドコンテンツを見てもらった後に，記録映像を見ながら求めた．Open Face から出力される顔のランドマーク推定（顔の特徴点）
67 個に着目し，追加実験，再分析をおこなった．その結果，学習者の口周りにおいて感情隠蔽時と平常時で違いがあることが示された．さらに，学習者の内政報告からあった感情隠蔽軸間の顔の特徴点の数値が，上がって下がるということを繰り返していることが示唆された．このことから，感情隠蔽状態と微表情(6)には関係があるのではと考える．

6.

感情隠蔽状態推定を用いたフィードバッ
クモデルの検討

実験 4 の結果を用いて，感情隠蔽状態を異常値として検知し，それに基づいて教授者に対するフィードバックモデルを作成することを検討した．フィードバックを作成することによって，教授者が学習者に対して，学習してほしい内容を正確に伝えるようになることができ，学習効果の向上につながると考える．図 1 のように，感情隠蔽状態推定結果を用いた対教授者フィードバックモデルを作成する．まず，学習者に授業を受けてもらう．この際に，学習者の表情を撮影する．その後，学習者に対して授業に関する①レビューシート（感想）課題を行う．授業中に撮影した学習者の表情を Open Face で分析し，②

図 1 教授者用フィードバックモデル

7.

まとめと今後の課題

本研究では，学習者の生体情報を用いて感情隠蔽状態を推定し，その結果を用いてフィードバック生成を行うことを目的としている．現在実験 3 まで進行しており，感情隠蔽と学習者の表情に関係があることが示唆された．また，実験 4 を実行中であり，被験者数を増やし，感情隠蔽状態の顔の特徴点の一般化を試みている．
今後の課題は，学習者の感情隠蔽状態を定量化し推定する手法を開発すること，開発した推定手法を基に，フィードバックモデルを作成することが挙げられる．
参考文献(1) 神藤貴昭:“学習コミュニティにおける「ネガティブ感情」の意味”,立命館教職教育研究(特別号) pp.~91--100（2016）(2) James J. Gross:“Handbook of Emotional Regulation”,Guilford Press（2015）(3) Tadas Baltrusaitis, Amir Zadeh, Yao Chong Lim, LouisPhilippe Morency, “Openface 2.0: Facial behavior analysis
toolkit” 13th IEEE international conference on automatic
face & gesture recognition, 59-66（2018）(4) 萱谷勇太，大谷まゆ，中島悠太，竹村治雄:“コメディドラマにおける字幕と表情を用いた笑い予測”，人工知能学会全国大会論文集第 33 回全国大会,（2019）(5) 堀口祐樹, 小島一晃, 松居辰則: “e-learning における学習時の潜在的な意識変化の抽出”, 2008 年度人工知能学会全国大会 (第 22 回) 論文集, （2008）(6) P.Ekman and W. V. Frisen, 工藤力（訳）:“表情分析入門”，誠信書房，（1987）― 200 ―