教育とスーパーコンピュータシンポジウム
日 時：2021年3月23日（火）13:00～18:30
場 所：オンライン（主催：九州大学 情報基盤研究開発センター）

生体情報を用いた学習者の心的状態推定の試み

早稲田大学人間科学学術院
松居辰則（matsui-t@waseda.jp）

自己紹介 松居辰則（まつい


たつのり）

早稲田大学 人間科学学術院 人間情報科学科 教授，博士（理学）早稲田大学
1964年 京都市生まれ
 1988年 早稲田大学理工学部数学科卒業
 早稲田大学理工学部（1992年～1995年），東京学芸大学（1995年～1997年），電気通信大学
大学院情報システム学研究科（1997年～2004年），早稲田大学人間科学部（2004年～）


研究分野【教育工学，人工知能，人間情報学・感性情報学】
教育評価の数理的手法，学習データ分析，テストデータ分析，順序データの構造分析手法
 知的教育・学習支援システム，適応学習のための制御手法
 Affective Computing for Learning/Education（学習履歴データ，行動データ，生体計測デー
タからの学習者の心的状態の推定手法）
 感性情報科学，スキル分析，Human-Computer/Agent/Robot Interaction，感情に関する
脳機能モデリング などまたは，http://w-mtlab.info/

松居研究室の公式FaceBook：
https://www.facebook.com/wmtlab2004

本日の内容 知的メンタリングシステムの構築
 心的状態の推定
 学習者の（心的状態に関する）モデルの記述
 LLI（Low Level Interaction）リソースを用いた心的状態推定
 （生体情報用いない）標準デバイスを用いた心的状態推定の試み

 MRA（多重解像度解析）とNNを用いたLLIリソースに基づく行き詰まり感の推定システム
 生体情報からの学習者の心的状態推定の試み

 深層ニューラルネットワークを用いた学習者の生体情報からの心的状態推定モデルにおける中間層の可視化の試み

 学習支援システム研究への新たな展開
 認知的側面（知識・理解）支援から情動的側面の支援へ
 さらに，その先の支援へ．．．
4

生体計測の可能性．．．

https://jp.wsj.com/articles/SB10426654051985844432104585637971222268024?fbcli
d=IwAR3hOF8TEaWGdUKio7XEhZw0RooTHp6x5kJ7191SSvPne3Z9iUdkW0eb6qI• 英文問題を解く際の目の動きから英語の習熟度を推定．

しかし．．．

• 眼球運動を測定する装置「アイトラッカー」で視点情報を得て動きの特徴を解析．

習熟度，集中度よりも「心」の状態（心的状態）が知りたい！

• 英語能力テスト「TOEIC（990点満点）」のスコアを推定．

•
•
•
•

停留点，停留点からの急速な運動，瞬きの3種の眼球運動．
解答時間と正答数も合わせた重回帰分析によりTOEICスコアを推定．
被験者21人が英文問題2文書．
推定スコアと実際のスコアとの平均誤差は30点．

人工知能研究における学習・教育支援研究

「学習」は人間の最も知的な活動の一つ

学習 v.s. 教育

「学習」は「知能」の代表的な機能．

「学習」は認知科学，心理学との学際性を有する．

「人工知能」研究も心理学，認知科学との学際性を有する．

「人工知能」研究における「学習・教育」研究の歴史は長い

学習・教育支援システム研究の展開


CAI; Computer Assisted Instruction

ITS; Intelligent Tutoring System

ILE; Interactive Learning Environment

CSCL; Computer Supported Collaborative Learning

EBS; Error Based Simulation



SBS; Simulation Based Learning

IMS; Intelligent Mentoring System

教育支援から学習支援へ
そしてメンタリングへ知的メンタリングシステム（IMS; Intelligent Mentoring
System）のイメージ
図1

知的メンタリングシステム（IMS）の概念
LLIリソース
マウスの動き，顔の動き，姿勢の変化・・・

IMS（Intelligent Mentoring System）

心理状態推定機構（心理状態推定モデル）

メンタリング情報生成機構
励まし，注意喚起，リマインダ・・・

LLI，HLI統合機構

HLIリソース
学習履歴（回答時間・正答率 など）

個別学習支援・復習課題提示・・・

学習支援機構（領域知識，学習者モデル，教授戦略，復習課題選定モデル など）

Mini lecture on Learning Analytics（田村恭久先生による）より抜粋
http://www.slideshare.net/yasuhisatamura/mini-lecture-on-learning-analytics

LLIとHLI

Low-Level Interaction（LLI）リソース：生体情報全般，マウスの移動速度の変化
や，キーボードの打鍵時間間隔，姿勢の変化など，出来る限り細かい粒度でサンプリングした行動的特徴


LLIによるインタラクションは必ずしも明確な意識を伴わない低次のインタラクションHigh-Level Interaction（HLI）リソース：生成された文字列や，その作業に要した時間などの粗い粒度でサンプリングした行動特徴（履歴）

HLIリソースによるインタラクションが明確な意識を伴う高次のインタラクション

LLIを用いて学習時の学習者の心的状態の推定


学習者のマウスの動きと顔の傾きおよび顔の前後移動の状態から学習時の「迷い（困惑度）」の推定[堀口 10]

選択肢回答による問題解答時の視線の動きから学習者の選択に関する「確信度」の推定[小島 14]

LAに関する研究動向
 学習履歴データの利用

学習状態の記述（可視化），学習状態の判別・予測，知織状
態の同定と学習支援，メタ認知スキル獲得の促進 等
 粒度の粗いデータ（High Level Interactionリソース）の利用 LMS（Learning Management System）による取得データの利用→

圧倒的にこのタイプの研究が多い．

 粒度の細かいデータ（Low Level Interactionリソース）の利用

 生体情報全般

 学習記録（映像，音声）の解析

 マウス，キーボード，デジタルペン等の入力デバイスからの入力

情報の解析
 電子教科書のページ閲覧履歴からの解析

LAに関する研究動向
 生体計測データの利用

学習時の心的状態の推定・判別と学習支援，学習状態の記述（可視化），学習状態の判別・予測，知織状態の同定と学習支援，メタ認知スキル獲得の促進 等
 特殊な計測機器を利用しない

 Webカメラ（PCに標準装備）による映像記録（表情や動き，

音声等）の解析 マウスやキーボード等の入力情報（位置，速度，加速度，打圧，

打鍵間隔等）の解析

 特殊な計測機器を利用
 EMR（Eye Mark Recorder），脳波，NIRS（近赤外分光分析法（Near-Infrared Spectroscopy），発汗，心拍，皮膚コンダク
タンス，皮膚血流 などの利用

マルチモーダルラーニングアナリティクス
 マルチモーダルラーニングアナリティクス（以下，MMLA）

 「複数のLLIを用いて認知的領域・情動的領域・技能運

動的領域に関する学習支援を行うこと」（情報処理,59(9),810-814 (2018-08-15)）

MRA（多重解像度解析）とNNを用いたLLIリ
ソースに基づく行き詰まりの推定システム

堀口祐樹，小島一晃，松居辰則: MRAを用いた学習者のLow-Level Interaction特徴からの行き詰まりの推定手法, 第58回人工知能学会先進的学習科学と工学研究会, SIG-ALST-A903, pp. 1-6 (2010)

２． 予備実験１ 概要

実験ツールにより取得する学習者の行動
マウスの情報マウスの座標 {x, y}
マウスのボタンの状態 (on, off)
サンプリングレート：60Hz

顔の情報
Webカメラより入力
OpenCVを用いて画像解析

顔の位置 {x, y}
顔の傾き {θ}顔の大きさ(画面との距離) {w}
サンプリングレート：5〜7Hz

２．予備実験

学習者の心理状態の取得
Step.1

Step.2

Step.3

この辺は簡単に読める
ぞ

実験ツールによって提示される問題に回答✓可能な限り感じた事を発話✓回答の学習者の様子をビデオ撮影
心理状態をヒアリング

think aloud法

単語わかんないretrospective report法✓ビデオを確認しながら 発話されなかった心理状態を補う
学習者の心理状態の遷移情報を作成
AかDなんだよなぁ…

３．予備実験１の結果

行動の特徴
単語わかんない

これで合ってるの
かなぁ

顔

マウス

5秒

時間

行き詰まりが発生した時間帯

5〜10秒間ほど

３．推定モデル

特徴量の抽出方法
多重解像度解析 MRAユニット‣‣

マザーウェーブレット：Haar関数
10オクターブ分の周波数スケール
Haar関数

0.05Hz←周波数スケール

0.5Hz

7.5Hz

30Hz ：移動速度
時間→

３．推定モデル

分類器

多重解像度解析

‣‣

NNユニット

３層フィードフォーワード型
MRAの出力結果を入力，行き詰まりの状態を出力

…

……

MRA

行き詰まりの状態

４．検証実験

検証結果

被験者A

被験者B

被験者C

被験者D

被験者E

i ii iii iv

i ii iii iv

i ii iii iv

i ii iii iv

教師データ

2問分

i ii iii iv

P(T)：行き詰まり箇所における適正推定比率
P(E)：行き詰まり以外の箇所での誤推定率

i：総合
ii：マウス速度

総合推定 P(T)/P(E) ：平均 1.48

iii：顔の傾き
iv：顔の前後移動

４．検証実験

検証結果
被験者A

被験者B

被験者C

被験者D

被験者E

検証結果・考察
教師データ

2問分

成果

教師データ

10問分

課題

‣ 複数のLLIリソースを用いることによる安定性の向上‣ マウスを動かす学習者に対してはマウスLLIのみでも良好な推定‣ NNのトレーニング方法のチューニング
‣ 学習者による行き詰まり報告の適切さ‣ 画像認識精度の向上
P(T)：行き詰まり箇所における推定率
P(E)：行き詰まり以外の箇所での推定率

機械学習を用いた生体情報からの学習者の心的状態のリアルタイム推定と学習支援の試み

目次
◆はじめに
・教育・学習場面では学習者の心的状態理解が重要
・リアルタイムに心的状態を推定・教師や学習者に提供◆システムの概要とこれまでの成果
・機械学習を用いて，教師発話と生体情報から学習者の心的状態を推定・有用性：高い推定精度／教授活動における参照十分性

はじめに
◆背景
・学習者の学習支援における二つの側面- 心的状態理解：学習中の学習者の心的状態を適切に理解- 知識理解支援：心的状態に基づいた適切な教授戦略の構築

・心的状態は必ずしも明示的に表出するとは限らない◆目的・学習に関わる多面的情報（生体情報など）から，機械学習を用いて学習者の心的状態の推定を行う
・学習者の心的状態をリアルタイムに推定し、教師や学習者に提供

Intelligent Mentoring System（IMS）
・学習者の心的状態も考慮に入れた知的学習支援システム

学習場面において期待される成果◆教師の教授活動支援
・生体情報に基づく心的状態推定の提供
・教師自身による心的状態推定に対する認知

教師の心的状態推定方略の改善◆学習者の学習支援
・より適切な心的状態推定による学習意欲の維持／喚起のための足掛かり

学習者の意欲的学習への期待

本IMSシステムの概要
・学習者の心的状態のリアルタイム推定
学習に関わる多面的情報

学習器

・学習者の生体情報
-脳血流
-呼吸
-容積脈波
-皮膚コンダクタンス

・教師による教授行為-発話

リアルタイム処理

生体情報

システム
表情・行動

学習者
教師
教授行為

リアルタイムフィードバックシステム
インターフェース

データ取得実際の対面授業における多面的情報

被験者：個別指導塾に通う中学生

実験内容：
60分授業での生体情報，心的状態を取得• 生体計測機器– 日立WOT-100（脳血流：Near-Infrared Spectroscopy）» 大域平均化– NeXus（呼吸, 皮膚コンダクタンス, 容積脈波）• 心的状態の内省報告– カメラ映像を見ながら後日生徒が心的状態を報告– Achievement Emotions Questionnaire（AEQ）の9感情
28

学習に関わる多面的情報の取得
 生体情報の取得

学習に関わる多面的情報の取得
 心的状態／発話の取得
 授業時の映像を見ながら自作アプリケーションを用いて付与
生徒：
内省報告

教師：
生徒の内省を予測

・Enjoy・Hope・Pride・Anger・Anxiety・Shame・Hopelessness
・Boredom
・Relief

分析者：
教師発話を付与

・説明
・発問
・指示確認
・復唱
・感情受容
・応答
・注意
・雑談
・その他

学習に関わる多面的情報の取得
 事前に各心的状態の説明（了解性の保証）
生徒：
内省報告

教師：
生徒の内省を予測

分析者：
教師発話を付与

Enjoyとは「I enjoy being・説明
in class」「I enjoy
・Enjoyacquiring new knowledge」といった感情です。
・Hope
・発問
・Pride・指示確認
・Anger・復唱
・Anxiety
・感情受容・Shame・応答・Hopelessness
・注意・Boredom
・雑談・Relief
・その他

学習に関わる多面的情報の取得
 心的状態・教師発話：
 自作アプリケーションを用いて付与※アプリケーション画面

出力結果

DNN

時系列情報を扱うためのデータ加工
時系列情報が考慮されていない時間τステップ分を入力データとして利用

33

心的状態の持続モデルの導入
一般に人間の心的状態は時間経過に従って変化特に，ある刺激に対して生起した感情（心的状態）は，時間の経過に対して指数関数的に減衰

感情強度関数④教師による
発話，⑤学習者の心的状態
に適用

34

35

36

標準化していない生体情報
約0.800の心的状態が推定で可能であることが実験的に確認

生体情報における時間遅れの程度を次元解析の手法で算出
より高いAccuracy値での心的状態の推定が可能

心的状態の持続に関するモデルを反映
さらに高いAccuracy値で心的状態の推定が可能

計測データをより実現象を近似するデータに加工することの有効性
37これまでに得られた成果◆高い精度における予測・心的状態を教師の推定精度よりも高い精度で予測- 9感情における推定結果：約76%（教師：約24%）- ポジティブネガティブにおける推定結果：約84%（約62%）◆システムの推定結果の参照性
・リアルタイム処理を想定したシステムを用いて，教師がシステムの推定結果を参照するか実験的に検討
・結果：心的状態がネガティブな状態であるとシステムが返すと，「問題が簡単すぎる」と感じていると解釈

学習者の心的状態に応じて教授行為を変更39

本研究の社会的波及効果◆学校教育以外への適用可能性
・本研究のフレームワークは他の領域に適用可能
・非対称性のあるコミュニケーション場面- 新人教育などの社内研修- 医療場面：患者の心的状態を考慮した医療行為の提案

実効性を高めるための課題◆どの生体情報をいかに取得するか
・生体情報の選定と採用する計測機器における課題- 用いる生体情報の種類と取得・解析負担のトレードオフ- 簡素化・軽量化する機器での取得と精度
 簡易計測機器で取得したデータの精度検証◆リアルタイム処理における時間遅延対策
1. 心的状態の変化と生体情報の変化における時間遅延
2. 生体情報の変化を機器で検出するまでの時間遅延
3. 学習器を通して心的状態推定を得るまでの時間遅延しかし．．．

 システムの処理はブラックボックス化

 深層ニューラルネットワークを用いた学習者の生体情報からの心的状態推定モデル“に”おける中間層の可視化の試み

本研究の目指すところ
 学習者の心的状態のリアルタイム推定
本システムのイメージ

学習に関わる多面的情報

課題：写像関係の明確化

・「何が学習されたか」の明確化

学習器-可読性：出力の原因根拠を提示

・学習者の生体情報
-脳血流
-呼吸
-容積脈波
-皮膚コンダクタンス

・多角的な分析と統合-様々な統計分析の併用と知見の統合解釈

本研究の期待される成果
・教育支援

・教師による教授行為
リアルタイム処理

-発話
生体情報

システム

教師の心的状態推定方略の改善

表情・行動

学習
者
教授行為

システムインターフェース- 生体情報に基づく心的状態推定の提供- 教師自身の心的状態推定に対する認知教師

リアルタイムフィードバック・学習支援- より適切な心的状態推定による
学習意欲の維持・喚起のための足がけ

学習者の意欲的学習への期待

本研究の目指すところ
 学習者の心的状態のリアルタイム推定
本システムのイメージ

学習に関わる多面的情報

課題：写像関係の明確化

・「何が学習されたか」の明確化

学習器-可読性：出力の原因根拠を提示

・学習者の生体情報
-脳血流
-呼吸
-容積脈波
-皮膚コンダクタンス

・多角的な分析と統合-様々な統計分析の併用と知見の統合解釈

本研究の期待される成果
・教育支援

・教師による教授行為
リアルタイム処理

-発話
生体情報

システム

教師の心的状態推定方略の改善

表情・行動

学習
者
教授行為

システムインターフェース- 生体情報に基づく心的状態推定の提供- 教師自身の心的状態推定に対する認知教師

リアルタイムフィードバック・学習支援- より適切な心的状態推定による
学習意欲の維持・喚起のための足がけ

学習者の意欲的学習への期待

中間層解析（中間層間の重みの変化の分析）【入力情報】
【出力情報】（１）皮膚コンダクタンス，（２）容積脈波，（３）呼吸，（４）教師の発話（０）Enjoy，（１）Hope，（２）Pride，（３）Anger，（４）Anxiety，（５）Shame，（６）Hopelessness，（７）Boredom，（８）Relief【中間層間の重みベクトル】


W0：入力層（第1層）と第2層，W1：第1層と2層，W2：第2層と第3層，W3：第3層と出力層（第4層）

・・・

・・・

 赤（最小値）～黄～白（最大値）

・・・

 重み行列のヒートマップ

・・・

重み行列の解析・・・・・・

 赤（最小値）～黄～白（最大値）

・・・

 重み行列のヒートマップ

・・・

重み行列の解析赤（最小値）～黄～白（最大値）

重み行列の解析 入力情報がどのユニットで着目されるか 疑似的に重みの重ね掛けで考える
中間層
1層目まで

中間層
2層目まで

赤（最小値）～黄～白（最大値）

重み行列の解析 入力情報がどのユニットで着目されるか 疑似的に重みの重ね掛けで考える
中間層
3層目まで

出力層
まで

赤（最小値）～黄～白（最大値）

重み行列の解析 入力情報がどのユニットで着目されるか 疑似的に重みの重ね掛けで考える
中間層
3層目まで

出力層
まで

入力情報（生体情報）と出力情報（感情）の間の特徴的な関係
 入力情報（生体情報）と出力情報（感情）の間には特徴的な関係が存在する

可能性を示唆
 ただし，中間層間の結合重みを順次乗じた値には各層での処理は考慮されていない（１）皮膚コンダクタンスの入力値は，（１）Hope，（４）Anxiety，（７）Boredomとの出力値に関係する （２）容積脈波の入力値は，（５）Shame，（６）Hopelessnessの出力に関係する．
 （３）呼吸の入力値は，（２）Pride，（８）Reliefの出力に関係する．
 （４）教師の発話の入力値は最も多くの感情に関係しており，特に，（１）Hope，（７）Boredomに強く関連する．
検討中の課題．．．
 時系列情報としての扱い ラベリングコストの問題
 少数データからの学習

人工知能研究における学習・教育支援研究

「学習」は人間の最も知的な活動の一つ

学習 v.s. 教育

「学習」は「知能」の代表的な機能．

「学習」は認知科学，心理学との学際性を有する．

「人工知能」研究も心理学，認知科学との学際性を有する．

「人工知能」研究における「学習・教育」研究の歴史は長い

学習・教育支援システム研究の展開


CAI; Computer Assisted Instruction

ITS; Intelligent Tutoring System

ILE; Interactive Learning Environment

CSCL; Computer Supported Collaborative Learning

EBS; Error Based Simulation



SBS; Simulation Based Learning

IMS; Intelligent Mentoring System

教育支援から学習支援へ
そしてメンタリングへ学習支援システム研究への新たな展開
 認知的側面（知識・理解）支援から情動的側面（心的状態）の支援へ
 さらに，その先の支援へ．．．

 「納得感，伝達感，安心感」（認知以外の情動・感情）と認知面の連携に基づ

く学習支援
納得感，伝達感，安心感とは？
 モデル化可能か？
 情報表現可能か？


・学習履歴（HLI）では不可能
・生体情報等のLLIへの期待

ロボットによる安心感をもって学習できる「良い雰囲気」の提供

目次

はじめに
内発的動機付けによる学習の重要性
学習成果のみならず満足度の向上も目標

アプローチとこれまでの成果

非言語情報（身体動作や表情など）に着目し 安心感に関する行
動・心理モデルを構築
実環境における実験による身体動作の効果の検証

はじめに

背景
従来の学習支援ロボットは具体的なスキル獲得を重視学習者の満足度など心理状態に働きかけ，学習への意
欲向上を目指しているものは少ない
学習者自身で気づきを得ることや内発的動機付けによる行動をすることは重要
非言語情報は言語情報と比較し，意味が明示的に示されていないため, 学習者が能動的に解釈を試みる必要性がある
非言語情報によって行動変容への効果が期待出来る

はじめに

目的
ロボットによって学習者が安心感をもって学習できる
良い雰囲気を提供
学習者に自律的・継続的な学習を促進し,学習に対する満足度を上げるような支援を実現

独創性
安心感を持って学習できる環境を構築
学習成果のみならず足度の向上も目標

満アプローチ

ステップ1

ステップ2

ステップ3

• 安心感に関する行動・心理モデルの構築• 安心感を与えるロボットの基本動作の設計• 教育文脈に沿ったロボットの動作系列の設計

アプローチ

ステップ1

ステップ2

ステップ3

• 安心感に関する行動・心理モデルの構築• 安心感を与えるロボットの基本動作の設計• 教育文脈に沿ったロボットの動作系列の設計

安心感に関する行動・心理モデルの構築
先行研究よりロボットの身体動作による安心感生成
築

モデルを構

■代表的な9本の既往研究
⑥⑦⑧

①

⑥⑦⑧

⑨

②

⑤

③

①志水らの研究[1]②東野らの研究[2]③佐藤らの研究[3]④村川らの研究[4]⑤小野らの研究[5]⑥日景らの研究[6]⑦Hoffmanらの研究[7]⑧Timothyらの研究[8]⑨山岸らの研究[9]④[1]志水信哉，中西秀之:Sensitive Agent:シミュレーションのための人間エージェント間インタラクションの設計，情報処理学会シンポジウム論文集，2004(5), pp. 11–18，2004. [2]東野寛志，神田智子:身体操作を実装した仮想エージェントとの持続的インタラクション評価，HAI シンポジウム2010，2010． [3]佐藤知正，中田亨:人と調和するペットロボットのための対人心理作用技術，人工知能学会誌, 106(412), pp. 31–36，2001． [4]村川賀彦, 十時伸:サービスロボットによる「ふるまい」の評価: 商業施設での試験運用(HAI におけるコミュニケーションとインタラクション適応), 電子情報通信学会技術研究報告．HCS, ヒューマンコミュニケーション基礎, 16(3), pp. 406–411，2006．［5］小野哲雄，今井倫太，石黒浩，中津良平: 身体表現を用いたロボットの共創対話，情報処理学会論文誌，42(6)，pp1348-1358, 2001. ［6］日景奈津子, カールハウザー, 村山優子:情報セキュリティ技術
に対する安心感の構造に関する統計的検討, 情報処理学会論文誌, 48(9), pp. 3193–3203, 2007. [7]Hoff man, L. J., Lawson-Jenkins, K. and Blum J.: Trust beyond security: An expanded trust model, Communications of the ACM, 49(7), pp. 95–101, 2006. [8]Timothy B.，Justine C.:
Relational agents: a model and implementation of building user trust，Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp. 396–403, 2001. [9]山岸俊男:信頼の構造—こころと社会の進化ゲーム，東京大学出版会, 1998.

安心感に関する行動・心理モデルの構築
モデルは三層から構成

三層目
二層目

一層目
身体動作の性質
二層目
人間の心理状態
三層目
安心感の付与一層目[1]志水信哉，中西秀之:Sensitive Agent:シミュレーションのための人間エージェント間インタラクションの設計，情報処理学会シンポジウム論文集，2004(5), pp. 11–18，2004. [2]東野寛志，神田智子:身体操作を実装した仮想エージェントとの持続的インタラクション評価，HAI シンポジウム2010，2010． [3]佐藤知正，中田亨:人と調和するペットロボットのための対人心理作用技術，人工知能学会誌, 106(412), pp. 31–36，2001． [4]村川賀彦, 十時伸:サービスロボットによる「ふるまい」の評価: 商業施設での試験運用(HAI におけるコミュニケーションとインタラクション適応), 電子情報通信学会技術研究報告．HCS, ヒューマンコミュニケーション基礎, 16(3), pp. 406–411，2006．［5］小野哲雄，今井倫太，石黒浩，中津良平: 身体表現を用いたロボットの共創対話，情報処理学会論文誌，42(6)，pp1348-1358, 2001. ［6］日景奈津子, カールハウザー, 村山優子:情報セキュリティ技術
に対する安心感の構造に関する統計的検討, 情報処理学会論文誌, 48(9), pp. 3193–3203, 2007. [7]Hoff man, L. J., Lawson-Jenkins, K. and Blum J.: Trust beyond security: An expanded trust model, Communications of the ACM, 49(7), pp. 95–101, 2006. [8]Timothy B.，Justine C.:
Relational agents: a model and implementation of building user trust，Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp. 396–403, 2001. [9]山岸俊男:信頼の構造—こころと社会の進化ゲーム，東京大学出版会, 1998.

安心感に関する行動・心理モデルの構築
モデルを構成する仮説
2つの仮説にそれぞれ対応した二つの実験を実施

仮説2
仮説1

仮説1
一層目と二層目の関係
第1実験に対応
仮説2
二層目と三層目の関係
第2実験に対応[1]志水信哉，中西秀之:Sensitive Agent:シミュレーションのための人間エージェント間インタラクションの設計，情報処理学会シンポジウム論文集，2004(5), pp. 11–18，2004. [2]東野寛志，神田智子:身体操作を実装した仮想エージェントとの持続的インタラクション評価，HAI シンポジウム2010，2010． [3]佐藤知正，中田亨:人と調和するペットロボットのための対人心理作用技術，人工知能学会誌, 106(412), pp. 31–36，2001． [4]村川賀彦, 十時伸:サービスロボットによる「ふるまい」の評価: 商業施設での試験運用(HAI におけるコミュニケーションとインタラクション適応), 電子情報通信学会技術研究報告．HCS, ヒューマンコミュニケーション基礎, 16(3), pp. 406–411，2006．［5］小野哲雄，今井倫太，石黒浩，中津良平: 身体表現を用いたロボットの共創対話，情報処理学会論文誌，42(6)，pp1348-1358, 2001. ［6］日景奈津子, カールハウザー, 村山優子:情報セキュリティ技術
に対する安心感の構造に関する統計的検討, 情報処理学会論文誌, 48(9), pp. 3193–3203, 2007. [7]Hoff man, L. J., Lawson-Jenkins, K. and Blum J.: Trust beyond security: An expanded trust model, Communications of the ACM, 49(7), pp. 95–101, 2006. [8]Timothy B.，Justine C.:
Relational agents: a model and implementation of building user trust，Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp. 396–403, 2001. [9]山岸俊男:信頼の構造—こころと社会の進化ゲーム，東京大学出版会, 1998.

アプローチ

ステップ1

ステップ2

ステップ3

• 安心感に関する行動・心理モデルの構築• 安心感を与えるロボットの基本動作の設計• 教育文脈に沿ったロボットの動作系列の設計

安心感を与えるロボットの基本動作の設計
実環境における実験により検証
身体動作による3つの”感情”の創発を確認
仮説1に対応

使用したロボット（NAO）
身体動作の一例[1]志水信哉，中西秀之:Sensitive Agent:シミュレーションのための人間エージェント間インタラクションの設計，情報処理学会シンポジウム論文集，2004(5), pp. 11–18，2004. [2]東野寛志，神田智子:身体操作を実装した仮想エージェントとの持続的インタラクション評価，HAI シンポジウム2010，2010． [3]佐藤知正，中田亨:人と調和するペットロボットのための対人心理作用技術，人工知能学会誌, 106(412), pp. 31–36，2001． [4]村川賀彦, 十時伸:サービスロボットによる「ふるまい」の評価: 商業施設での試験運用(HAI におけるコミュニケーションとインタラクション適応), 電子情報通信学会技術研究報告．HCS, ヒューマンコミュニケーション基礎, 16(3), pp. 406–411，2006．［5］小野哲雄，今井倫太，石黒浩，中津良平: 身体表現を用いたロボットの共創対話，情報処理学会論文誌，42(6)，pp1348-1358, 2001. ［6］日景奈津子, カールハウザー, 村山優子:情報セキュリティ技術に対する安心感の構造に関する統計的検討, 情報処理学会論文誌, 48(9), pp. 3193–3203, 2007. [7]Hoff man, L. J., Lawson-Jenkins, K. and Blum J.: Trust beyond security: An expanded trust model, Communications of the ACM, 49(7), pp. 95–101, 2006. [8]Timothy B.，Justine C.: Relational agents: a model andimplementation of building user trust，Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp. 396–403, 2001. [9]山岸俊男:信頼の構造—こころと社会の進化ゲーム，東京大学出版会, 1998.

安心感を与えるロボットの基本動作の設計
身体動作で群を分けて比較実験により検証3つの感情による安心感の創発の確認
仮説2に対応

P・N動作提示群前後のウェルチのt検定結果

比較群
P・N動作提示群後安心感（快適性）t(7.86) = 2.705
p = .027*
p < .05 *[1]志水信哉，中西秀之:Sensitive Agent:シミュレーションのための人間エージェント間インタラクションの設計，情報処理学会シンポジウム論文集，2004(5), pp. 11–18，2004. [2]東野寛志，神田智子:身体操作を実装した仮想エージェントとの持続的インタラクション評価，HAI シンポジウム2010，2010． [3]佐藤知正，中田亨:人と調和するペットロボットのための対人心理作用技術，人工知能学会誌, 106(412), pp. 31–36，2001． [4]村川賀彦, 十時伸:サービスロボットによる「ふるまい」の評価: 商業施設での試験運用(HAI におけるコミュニケーションとインタラクション適応), 電子情報通信学会技術研究報告．HCS, ヒューマンコミュニケーション基礎, 16(3), pp. 406–411，2006．［5］小野哲雄，今井倫太，石黒浩，中津良平: 身体表現を用いたロボットの共創対話，情報処理学会論文誌，42(6)，pp1348-1358, 2001. ［6］日景奈津子, カールハウザー, 村山優子:情報セキュリティ技術
に対する安心感の構造に関する統計的検討, 情報処理学会論文誌, 48(9), pp. 3193–3203, 2007. [7]Hoff man, L. J., Lawson-Jenkins, K. and Blum J.: Trust beyond security: An expanded trust model, Communications of the ACM, 49(7), pp. 95–101, 2006. [8]Timothy B.，Justine C.:
Relational agents: a model and implementation of building user trust，Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp. 396–403, 2001. [9]山岸俊男:信頼の構造—こころと社会の進化ゲーム，東京大学出版会, 1998.

アプローチ

ステップ1

ステップ2

ステップ3

• 安心感に関する行動・心理モデルの構築• 安心感を与えるロボットの基本動作の設計• 教育文脈に沿ったロボットの動作系列の設計

教育文脈に沿ったロボットの動作系列の設計
学習・教育環境における安心感の構造の明確化
自由記述アンケートを実施
有効回答数94
質問内容• 学習・教育環境における安心感についての経験• 学習支援ロボットに期待する役割・行動• 安心できそうな学習支援ロボットの振る舞い

学習・教育環境における安心感を創発し得る身体動
作の効果の確認社会的波及効果

社会的な価値ロボットにより個別学習でも高い成果と満足度を伴う学習環境の構築
新しいeラーニングシステムの提供

学習・教育に与えるインパクト
良い雰囲気を提供することにより，自律的・継続的な行動が促進
内発的動機付けによる学習の促進
定着のみならず汎化・深化

今後の課題安心感の行動・心理モデルの精緻化
安心を創発し得る非言語情報についての検証
学習・教育分野に限定した安心感の構造を明らかにする安心感の創発と学習に対する満足度の関係
満足度における安心感の重要度の確認
学習意欲や内発的動機付けへの発展可能性の検証

実用化に向けたロボットの自動化

実験はWOZ(Wizard of Oz)法で行っており，実験者が操作を行っている

「伝達感」のモデル化と定量的評価
 関連知見協調的な場面では，被験者のBA10での神経活動の同期が大きくなる BA10の活動は，他者の意図や気持ちの理解に関連する
 対話時の内容の理解は神経活動の同期と関連する 仮説

伝達感の高いコミュニケーションでは，「話者同士の神経活動の同期性が高まるのではないか」 NIRSを用いた同期性の計測
 「伝達感」の定量的評価
https://neu-brains.co.jp/2017/09

学習・教育の世界は．．．


個別性が高い

インタラクションが複雑

形式（学習履歴データ等）と意味（学習・教育上の解釈）との乖離が大きい

便益遅延性（その効果がいつ現れるか）が大きい



効果の多様性（その効果がどのように現れるか）が大きい



価値の交換ではなく価値の共創・協創が基本である

現象のモデル化が困難

人間と技術との役割分担（の境界線）が曖昧
技術と人の共生

人間と技術との役割分担（の境界線）を明確にすることが大切学習時の心的状態に関する知識記述

推定の対象である心的状態と推定方法は多種多様



同じ心的状態であっても異なった生体情報が推定に用いられることもある



取得された生体情報がそのまま心的状態を意味するわけではない

生体情報を学習者とその状況の理解に役立てるためには，生体情報と心的状態の関係を明らかにするとともに，学習支援システムを構築する際に参照可能なように記述しておくことが必要（１）生体情報と心的状態の生起過程の把握

（２）その過程の中で心的状態が概念的に分類されるかを明確化

オントロジー工学の手法を用いて，学習者の心的状態と生体情報の関係に関する汎用性の高い記述方法の提案

今後の課題

学習者の心的状態（情動的領域）と（学習内容に依存した）理解状態（認知的領域）は相互に関連性を有する



LLIリソースとHLIリソースの双方を関連付ける必要がある．

学習・教育に関するデータ特有の特殊性の問題


個別性が高い，インタラクションが複雑，形式（学習履歴データ等）と意味（学習・教育上の解釈）との乖離が大きい，便益遅延性（その効果がいつ現れるか）が大きい，効果の多様性（その効果がどのように現れるか）が大きい．．．



理論・技術の更なる展開（計測機器の小型・軽量化，計測精度の向上，学習文
脈，教育文脈に強いデータ解析，機械学習アルゴリズムの開発，サービス視点
での学習デザイン，設計手法の検討）



知見の共有（コミュニティ形成，データクラウド）（分析対象者の個人差の扱
い，生体計測データは大規模サンプルでの収集は非現実的，分析者ノウハウの共有）



古くから蓄積された教育工学，教育システム学研究の知見の再認識と利活用