関東地区

教育システム情報学会 2020年度学生研究発表会

生体情報を用いた学習者の心的状態推定モデルにおけるラベリングコスト削減の試み
An Attempt to Reduce Labeling Costs in a Model for Estimating
Learners' Mental States Using Biometric Information
古澤 嘉久*1, 田和辻可昌*2, 松居辰則*3
Yoshihisa Furusawa*1, Yoshimasa TAWATSUJI*2, Tatsunori MATSUI*3*1
早稲田大学人間科学研究科*1
Graduate School of Human Sciences, Waseda University*2
早稲田大学グローバルエデュケーションセンター*2
Global Education Center, Waseda University3
早稲田大学人間科学学術院*3
Faculty of Human Sciences, Waseda University
Email: f.y_1996_w-skk@akane.waseda.jp
あらまし：教授・学習過程において学習者の心的状態を把握することは重要であるが，授業時に生徒の顔や動きに心的状態が表出されるとは限らない．そこで，著者らはより心的状態が反映されやすい生体情報に着目して心的状態の推定を試みてきている．その中で，新規被験者に対応したモデルを作成する度に，内省報告によるデータ収集が必要であり，学習者への負担（ラベリングコスト）が大きかった．そこで，
本研究では，少ない内省報告でも対応できるモデルの作成を試みた．
キーワード：生体情報，心的状態推定，内省報告，ラベリングコスト，深層学習

1.

告を全く行わない場合のモデル作成を行った．次に徐々に内省報告の時間を増やした場合のモデル作成を行うことで，何％の内省報告の時間を削減できるかを検討した．

はじめに教授・学習過程において学習者の心的状態を把握することは重要である(1)．特に，生体情報を用いた学習者の心的状態の推定を行うことは，必ずしも表情等に表出されない，内に秘めている学習者の心的状態についても扱うことが可能になると考えられる．

2.

3.

データセット収集の内容

モデルの作成/評価を行うために，8 人の被験者（男性 5 人，女性 3 人，平均年齢 23.4 歳，標準偏差 0.48歳）に対して生体計測機器を装着した状態で，10~15 分程度の難易度を調整した探索アルゴリズムに関する授業を 3 本受講させ，全ての授業視聴後に視聴時の自身の心的状態を内省報告させた．生体計測機器としては NeXus と HOT–1000 を装着して，皮膚コンダクタンス，容積脈波，呼吸強度，酸素ヘモグロビン量を測定した．報告させる心的状態としては，，「Satisfaction」，Confusion」，AEQ(3)を参考に「Enjoy」「Anger」，「Boredom」を選定し，考えていて覚えていない，無感情，動画を停止していた場合に対応した「Others（No-Emotion を含む）」を入れた合計 6 種類を選択した．

背景と目的

生体情報を用いた学習者の心的な状態を予測する
研究は，Hussain ら(2)をはじめとして，既往研究によりいくつかなされている．しかし，これまでの研究
では，モデルの作成のためのデータセットの取得に内省報告の形式をとっており，被験者への負担（ラベリングコスト）が大きいモデルの作成方法となっている．内省報告とは，被験者に一度生体計測機器をつけて授業を受けさせ，再度被験者に授業時の心的な状態を回答させることで生体情報と心的状態が対応したデータセットを（以下，完全なデータセットと呼ぶ）取得する方法である．つまり，既往研究
では，新規被験者に対応したモデルを作成するためには，その都度内省報告によってデータセットを取得し，モデルを作成するという手順を踏む必要がある．しかし，このように新規被験者に対応する度に，内省報告を行う必要があることは，ラベリングコストが大きく，システムの実践的利用の観点から現実的ではない．そこで本研究では，ドメイン適応の手法(4)を応用し，少ない内省報告，特に内省報告に要する時間によってモデル作成を試みることで，新規被験者への対応のために必要なラベリングコストを削減することを目的とする．本研究では，始めに教師なしドメイン適応の手法を応用することで，内省報4.

モデルの説明4.1 深層学習を用いたモデル化
生体情報から学習時の心的状態を予測することは，画像や映像による刺激と比べて難易度が高いことが報告されている(2)ことから，特徴が抽出しにくい関係にあることが予測される．そこで本研究では松居ら(1)に倣い，深層学習を用いたモデル作成を行うこととし，さらに既往研究を参考に，より時系列性を考慮するために CNN（Convolutional Neural Network）モデルを使用した．
4.2 ドメイン適応によるモデル化

61

関東地区

教育システム情報学会 2020年度学生研究発表会

ドメイン適応によるモデル化では，新規被験者に対応させるために，以下のような設定でモデル作成を行う．設定としては，すでに何人かの被験者の生体情報と心的状態の対応づけがなされたデータセットが与えられている状態で，初期段階は新規被験者の生体情報のみの場合でのモデル化を行う．その後，生体情報と少数のサンプルのみに心的状態が付与された場合でのモデル化を行う．モデルの基盤には，先に述べた CNN を用いており，モデルの概要としては図 1 のように，被験者の分類と心的状態の分類を行う２つのネットワークが結合したモデルとなっている． さらに本研究では，よりモデルの汎化性を高めるために，情動維持を参考にした感情の減衰モデルと，少数サンプルに対応するための手法としてMoCo（Momentum Contrast）(5)を取り入れて評価を行った．

ら，学習データに対しては，MoCo のようなあらかじめ全体で初期値を学習することが有効に働くことが確認された．学習データとテストデータで有効な手法が異なることから，システムの運用方法によって手法を選択する必要性が示唆された．
5.3 徐々に内省報告の時間を増やしたモデル化の結果と考察
生体情報のみを用いた新規被験者への対応では，汎化性を高める手法を利用することで，既存研究に準拠したモデル(4)よりは性能が高くなったが，完全なデータセットで学習した Baseline と比較すると劣る．そこで，徐々に内省報告の時間を増やした場合のモデル作成を行うことで，Baseline と同等の性能に達するために何％の内省報告の時間を削減できるかを検討した．結果は図 2 のようになり，Kappa 係数についての評価では，20%のラベリングコストによって Baseline と同等の性能となることがわかった．
このことから，１つ目の生体情報のみを用いたドメイン適応による新規被験者への対応に対しても，原理的に難しいというよりも，アルゴリズム側の改善によりさらに緩和できる可能性を示唆していると考えられた．

図 1. ドメイン適応によるモデルの概要

5.

評価と結果

5.1 評価の指標と方法
評価指標としては，マクロ Accuracy 値（%）
，Recall値（%），Precision 値（%）
，F1 値（%），Kappa 係数のそれぞれの被験者間平均で評価した．また，データの分割としては，時間的に前半 8 割を学習データ，後半 2 割をテストデータとして分割して学習/評価を行った．評価方法としては，今回はモデルを作成する被験者が 8 人いるため，人単位の Leave-One-Out交差検証を行った．また，Baseline として，本研究と同様に深層学習によるモデル化を行っている松居ら(1)の手法に対して，新規被験者の完全なデータセットが与えられた場合に学習させた結果を比較した．
5.2 生体情報のみでのモデル化の結果と考察
教師なしドメイン適応の手法(4)を利用することで，生体情報のみで新規被験者に対応したモデルの作成を試みた．既存研究に準拠したモデル(4)と比較すると，テストデータでは F1 値で 4.81%の改善，Kappa係数で 0.054 の改善が見られ，感情の減衰モデルが教師なしドメイン適応にも有効に働く可能性が示唆された．さらに Baseline と比較して，F1 値で 6.29%の減少，Kappa 係数で 0.0513 の減少までに抑えることができた．また，学習データでのラベルで評価した場合では，MoCo による初期値の設定により，Accuracy 値，Precision 値，Kappa 係数で改善が見られたことと，F1 値では感情の減衰モデルと MoCo を組み合わせることで 1.27%の改善が見られたことか62

図 2.徐々に内省報告を増やした場合の精度の推移

6.

まとめ

生体情報を用いた心的状態モデルを作成する上での，ラベリングコストに着目したモデルの作成を行った．結果として，80%の内省報告の時間を削減できる可能性を確認し，より新規被験者への対応するための負担が少ないモデルを作成することができた．
参考文献(1) 松居辰則, “生体情報を用いた学習者の心的状態推定と学習支援の試み”, 教育システム情報学会誌, Vol.3
6, No.2, pp.76–83 (2019)(2) Hussain, M Sazzad et al: “Affect detection from multichannel physiology during learning sessions with AutoTutor”, International Conference on Artificial Intellige
nce in Education, pp.131–138, Springer (2011)(3) Pekrun, Reinhard et al.: “Measuring emotions in stude
nts’learning and performance: The Achievement Emotions Questionnaire (AEQ)”, Contemporary educational
psychology, Vol.36, No.1, pp.36–48 (2011)(4) Sebag, Alice Schoenauer et al.: “Multi-Domain Advers
arial Learning”, in Proceedings of International Confer
ence on Learning Representations (2019)(5) He, Kaiming et al.: “Momentum contrast for unsupervised visual representation learning”, in Proceedings ofthe IEEE/CVF Conference on Computer Vision and P
attern Recognition, pp.9729–9738 (2020)