関東地区

教育システム情報学会

2017年度学生研究発表会

機械学習を用いた生体情報からの学習者の心的状態のリアルタイム推定と学習支援の試み
Real time estimation of learner's mental state from biometrics using machinelearning and attempts to support learning
*1

*2

*2

宇野 達朗 , 田和辻 可昌 , 松居 辰則*1*2*2
Tatsuro UNO , Yoshimasa TAWATSUJI ,Tatsunori MATSUI*1
早稲田大学 人間科学部*1
School of Human Sciences, Waseda University*2
早稲田大学 人間科学学術院*2
Faculty of Human Sciences, Waseda University
Email:katappo@fuji.waseda.jp
あらまし：教授・学習過程において学習者の心的状態を把握することは教育効果・学習効果の観点から極めて重要である．本研究では，機械学習を用いて，教師の発話および学習者の生理指標と心的状態の関係の抽出を試みた．またリアルタイム学習支援のモックアップ実験を行なった．学習者の生理指標については，NIRS・脳波・呼吸・皮膚コンダクタンス・容積脈波を取得した．一方，学習者の心的状態は Achievement
Emotions Questionnaire：AEQ を用いて，9 つの感情状態で抽出された．そして，深層学習を用いることで，高い精度で教師の発話と学習者の生体情報から心的状態の推定が可能であることが示唆された．またモックアップ実験の結果，本研究の目指す学習支援システムが有効である可能性が示唆された．
キーワード：生体情報，深層学習，感情推定，AEQ，学習支援

1.

背景と目的

クのトレーニングの最適化や学習者の心理状態の取教授・学習過程において学習者の心的状態を把握得方法の検討などの課題が残る結果となった．

することは教育効果・学習効果の観点から極めて重3.

要である．教育工学研究においても，生体情報を学学習に関わる多面的情報取得の実験
被験者は個別指導塾の教師1名と，そこに通う生徒習行為や心的状態と関係付けるための基礎的な研究1名であった．生徒にはRyuら(3)の定義したLLIリソー

は多くの知見を蓄積されている．

スに倣った生体情報(容積脈派・呼吸・皮膚コンダク

そこで，本研究では，学習に関わる多面的情報かタンス・脳血流・脳波)を計測しながら通常通りの授ら深層学習を用いて学習者の心的状態の推定を行う業を受けてもらった．分析者が授業映像を見ながらこと，またそのリアルタイムでの学習支援の可能性

自作アプリケーションを用いて教師発話を松居ら(1)を検討することを目的とした．の手順と同様に9種類のカテゴリ (1:説明，2:発問，

2.

先行研究

3:指示確認，4:復唱，5:感情受容，6:応答，7:注意，(1)

松居ら は生体情報を学習行為や心的状態と関係

8:雑談，9:その他)に分類した．

付けるための基礎的な研究を試みている．松居ら (1)

心的状態を9 種類 (Enjoy，Hope，Pride，Anger，は，教師と学習者のインタラクションにおける教師

Anxiety， Shame，Hopelessness，Boredom，Relief) のの発話と学習者の生理データ，および学習者の心的カテゴリに分類した．生徒には後日, 授業時のビデ状態との関係の形式化を試みている．一方，堀口ら

オを見ながら自作アプリケーションを用いて授業時(2)は機械学習アルゴリズムを用いて学習者の知識・の心的状態の内省報告を求めた．教師には実験後理解状態， 心理状態の両側面を推定する機能を実装に，撮影していた授業の映像を見返しながら生徒のし，適切な自動メンタリングを実現するために必要心的状態を自作アプリケーションを用いて予測してなモデルと技術基盤を開発している．堀口ら(2)はもらった．その結果，生徒による内省報告と教師にRyuら(3)の定義した，細かい粒度でサンプリングしよる予測との一致率は，9感情において24.11 %であた行動的特徴であるLLI(Low-Level Interaction)リソった．

ースに基づき，それらの特徴に基づく行き詰まりの4.

推定システムを提案したが，ニューラルネットワー

53

深層学習での分析

関東地区

教育システム情報学会

ここでは，前節で得られた学習者の生体情報と心2017年度学生研究発表会

た(図1)．

的状態との対応づけに用いた深層学習について述べインタビューの結果，解説を行なっている際は学る．入力は教師発話，生徒の皮膚コンダクタンス，習支援システムを見ることができないとう課題があ呼吸，容積脈派，NIRSの5つとした．出力は生徒のげられたため，推定値の変化によって振動で警告を心的状態(9カテゴリ)とした．実場面での応用を考慮出すといった工夫が必要であることがわかった．しし，サンプリングレートの異なる各入力情報の粒度かし教師がインターフェースを参考に教授方略に変を補完する点を除き，NIRSの帯域平均化やデータの化を加え，生徒の理解度向上を図ったということか標準化などの加工は行わなかった．

ら， 本学習支援システムが有効である可能性が示唆

ネットワーク構造は入力層・中間層 (4 層)・出力された．

層の6層からなる多層パーセプトロンとし，中間層のユニット数は探索的に，中間層1層目のユニット数を69，2層目を89，3層目を80，4層目を69とした．
python3.5，Tensorflow(ver 0.12.1) で深層学習を実装しそれぞれの写像関係に関する学習を70000回行

図1

モックアップ実験とインターフェースの様子なった．活性化関数は中間層では tanh 関数を，出6. まとめと今後の展望

力層ではソフトマックス関数を用いた．また，損失関数にはクロスエントロピー誤差関数， オプティマ

生体情報計測機器を用いて学習に関わる多面的情

イザーには Gradient Descent(最急降下法)を用いた．

報の取得実験を行なった．実験で取得したデータに学習率は0.08とした．データ全体の6割を学習データ，加工を施し，深層学習での分析を試みた．結果は4割を評価データとして交差検定を10回行なった．

76 .17%の精度で学習者の心的状態を推定ができた．

その結果，76.17 %の精度で生徒の生体情報から心モックアップ実験を行なった結果，リアルタイム学習支援の有効性の可能性が示唆された．

的状態を推定することができ，人間教師の一致率で一方，多層パーセプロトンのトレーニングの最適ある24.11%を大きく超える結果であり．深層学習を化や，リアルタイムでの学習支援実験における一連用いた学習支援の応用可能性が示唆された．の動作を実現するにあたって課題が残る結果となっ5.

リアルタイム学習支援モックアップ実験

た．そしてモックアップ実験の結果，生徒への生体深層学習を用いた教師へのリアルタイム学習支援

計測機器の簡素化や教師への学習支援において，イ実験の効果を予備的に調査するモックアップ実験を

ンターフェースの設置位置の最適化や，推定値の変行なった．このモックアップ実験では教師がインタ化によって振動で知らせるなど様々な工夫が必要でーフェースの情報を元に教授行為を変化させるかをあることがわかった．

検証することを目的とした．被験者は教師役1名と生参考文献

徒役1名とし対面の授業 (10分×4回)を行ない，各授(1)

松居 辰則, 竹花 和真: 学習時の多様な情報の統合分析による関連性抽出に関する実験的検討, 第 29回人工知能学会全国大会 (2015)(2) 堀口 祐樹, 小島 一晃, 松居 辰則: e-learning における学習者の Low- Level Interaction 特徴に基づく行き詰まりの推定システム, 第 24 回人工知能学会全国大会,2F1-3(2010)(3) Hokyoung Ryu, Andrew Monk: Analysing interaction
problem with cyclic interaction theory: Low-levelinteraction walkthrough, PsychNology Journal, Vol.2,
No.3, pp.304-330(2004)

業の終わりに心的状態予測インターフェースの有効性を確かめるインタビューを行なった．リアルタイ
ムでの生体情報取得，分析を行なわずに， 心的状態予測インターフェース(心的状態のそれぞれの深層学習の出力値をPositive(i.e．Enjoy，Hope， Pride，Reliefの程度の合計値) と Negative(i.e. Anger，Anxiety，Shame，Hopelessness，Boredomの程度の合計値) に分類し，PositiveとNegativeの合計値を表示)とした．2.5秒毎にインターフェースの更新を行なっ54