H5-2

インタラクティブ講義ロボットのための学習者状態推定
Estimating Learner’s States for Interactive Robot Lecture
菅原 歩夢*1, 石野 達也*1, 後藤 充裕*2, 柏原 昭博*1
Ayumu SUGAWARA*1, Tatsuya ISHINO*1, Mitsuhiro GOTO*2, Akihiro KASHIHARA*1*1 電気通信大学大学院*1The University of Electro-Communications*2NTT サービスエボリューション研究所*2NTT Service Evolutions Laboratories
Email: ayum.sugawara@uec.ac.jp
あらまし：大学講義や e-Learing 講義では，学習者の状態に合わせて講義内容の説明順序を変化させることが学習者の講義理解のために重要であり，講師が講義中に学習者の状態を把握する必要がある．しかし，講義中に学習者の状態を把握する難しさや，講義の時間的制約により，必ずしも適切に行えるわけではない．そこで本研究では，ロボットが学習者の状態に基づいて説明順序を動的に変化させるシステムの開発を目的としている．本稿では，ロボットが説明順序の変更を行うための講義シナリオ制御モデル，および学習者の状態推定手法について論じる．また，本手法を評価した結果について述べる．
キーワード：インタラクティブ講義，学習者状態推定，ロボット講義

1.

はじめに大学講義や e-Learing 講義では学習者へ講義内容を分かりやすく伝達することが重要である．このような講義では，講師が講義内容を講義スライドとして表現して，口頭説明や非言語動作を伴って実施される．特に，学習者の講義理解を促すためには，適切な非言語動作の活用が求められるが，経験豊富な講師にとっても，非言語動作を活用しながら講義プレゼンを行うことは，必ずしも容易ではない．
そこで，本研究では，学習者の講義理解を促すことを目的に，講師の伝達意図から適切な非言語動作を導き出す講義動作モデルをデザインし，このモデルに沿って講師の非言語動作を診断・再構成して講義をロボットが代行するシステムを開発した (1)．また，このようなロボット講義が，学習者の注意制御や集中力の向上，講義内の理解促進に効果があることを確認した．
一方，講義は講師から学習者への一方的な情報伝達のみではなく，講師と学習者によるインタラクションを伴いながら進行する(2)ため，学習者の状態を把握することが必要になる．特に，学習者の受講状態に合わせて講義の説明順序を適切に変更することが重要である．
そこで，本稿では，ロボットが学習者の受講状態に基づいてインタラクティブに講義を実施するために，学習者の状態を推定する手法について述べる．

2.

インタラクティブな講義

通常，講師は講義前に学習者の受講状態を想定しながら，講義スライドを作成し，またどのような意図で講義を実施するかを表す講義シナリオを作るものと考えられる．このシナリオには，意図に応じたスライドの提示順序(以下，スライドシーケンス)や口頭説明，非言語動作が含まれる．また，講義時には，この講義シナリオにそって講義を実施していくことになる．しかしながら，講師が事前に想定した学習者の受講状態と，講義中の学習者の受講状態は

図 1 講義シナリオ制御モデル必ずしも一致しないことが多く，講義中にシナリオを適切に変更することが必要となる．

3.

シナリオ制御モデル

そこで，筆者らは，学習者の状態に合わせてインタラクティブな講義を行うために，図 1 に示す通り，講義シナリオ制御モデルをデザインした．本モデル
は，講師の意図の変化，シナリオ制御カテゴリ，シナリオ基本構成要素の 3 層からなっており，これらの対応関係で，講義の意図の変化からどのようなシナリオ制御を行うかを表現している．講師意図の変化とは，事前に想定していた学習者の状態と講義中の学習者の状態が一致しなかった場合に対応するために講師が変化させた意図の遷移のことである．

4.

学習者の状態と推定手法

講義中，学習者は自分の理解状態に応じて様々な状態をとる．本研究では，学習者の状態と講師の意図の関係を図 2 のように整理している(1)．この関係
図では，学習者の状態を遷移させるために講師がどのような意図を持つかを示している．
また，椋木ら(3)は講義中の学習者の行動を，(a)能動的受講行動，(b)受動的受講行動，(c)散漫行動，(d)逸脱行動，(e)PC 端末閲覧・操作の 5 つに分類した．
本研究では，現在のところ，図２の状態 1 では(d)の行動が多く現れ，状態 2 では(c)の行動，状態 3 と― 403 ―教育システム情報学会 JSiSE2019
第44回全国大会 2019/9/11-9/13

表 1 本手法の状態推定精度
被験者
提案手法

適合率0.650

0.813

非集中

0.625

0.417

熟練者
提案手法

再現率

集中

適合率

再現率

F値
0.722
0.500
F値

集中

0.700

0.778

0.737

非集中

0.500

0.400

0.444

表 2 熟練者の状態推定精度
図 2 学習者の状態と講師の意図の関係

適合率

状態 4 では(a)，(b)の行動が多く現れるものと考えている．PC の持ち込みは考慮しないため，(e)は対象外である．そして，状態 1 と状態 2 を非集中状態，状態 3 と状態 4 を集中状態として，2 値で推定を行う．
推定には，学習者の姿勢や顔向きを用い，そのために Kinect から得られるスケルトンデータと顔のトラッキングデータを収集する．これらのデータを用いて学習者の体の傾きや顔の回転を計算し，一定時間内に体の傾きや顔の回転のしきい値を超えるかを求め，集中状態か非集中状態かを推定する．ディスプ
レイの大きさや，ディスプレイと学習者との距離によって，学習者がディスプレイを見ているかどうかのしきい値を決定するため，学習環境によってこれらのしきい値を変更する必要がある．

5.

評価実験

5.1 実験方法
学習者の顔向きや体の傾きから，学習者の集中の状態を推定できるかを評価するために実験を行った．
被験者 8 名に対して，講師による講義動画を受講してもらい，受講している様子を動画に記録すると同時に本手法で状態推定を行った．システムの状態推定は講義動画中のスライド単位で行った．被験者には受講中の任意のタイミングで集中していない態度をとってもらった．受講した後，被験者には講義動画と記録された自身の動画を見ながら，集中していない態度をとっていた箇所のスライド番号を回答してもらった．また，講義経験のある熟練者には，記録された被験者の動画を見てもらい，被験者に対して集中・非集中のどちらかで判断し，非集中と判断した箇所を被験者と同様の方法で回答してもらった．
その結果をもとに被験者，熟練者の回答に対する本手法の推定結果の適合率，再現率，F 値と，被験者の回答に対する熟練者の回答の適合率，再現率，F 値を評価指標として精度評価を行った．
5.2 実験結果
被験者，熟練者の回答に対する本手法の推定結果の各評価指標の値を表１に示す．また，被験者の回答に対する熟練者の回答の各評価指標の値を表２に示す．
表 1 の結果から，被験者，熟練者の回答に対する本手法の状態推定結果は非集中状態について正確であるとは言えなかった．一方，表 2 の結果から，被験者の回答に対する熟練者の回答の各評価指標の値は全ての項目で高い値を示した．また，熟練者に判断基準に関するインタビューを行ったところ，顔向きと視線を重視し，体の傾きは顔向きや視線ほど重視しないという知見が得られた．

スライド単位
秒単位

再現率

F値

集中

0.889

1.0000.941

非集中

1.000

0.833

0.909

集中

0.932

0.954

0.942

非集中

0.925

0.8910.908

表 3 改善手法の状態推定精度
被験者
改善手法

適合率
0.800

1.000

非集中

1.0000.667

熟練者
改善手法

再現率

集中

適合率

再現率

F値
0.889
0.800
F値

集中

0.854

1.0000.921

非集中

1.000

0.714

0.833

そこで，熟練者の判断基準を推定手法に反映させるように，顔向きと視線データで状態推定を行うように改善した．なお，体の傾きデータは，顔向きや視線で推定が困難な場合のみに使用することとした．
表 3 に，被験者，熟練者の回答に対する改善手法の状態推定結果を示す．表 3 の結果より，改善手法は各評価指標の値が提案手法より高くなっており，熟練者の状態推定に近づけることができた．

6.

まとめ

本稿では，学習者の講義理解のために，講義シナリオを学習者の状態に合わせて動的に変化させるためのモデルと学習者の状態推定手法を提案した．状態推定手法を評価するために，システムの状態推定精度と熟練者の状態推定精度を比較する実験を行った．その結果，熟練者の判断基準を状態推定手法に加えることで，熟練者の状態推定精度に近づけることができた．
今後は，本モデルを用いたインタラクティブロボ
ット講義システムを構築し，学習者の受講状態に合わせてロボットが講義シナリオを動的に変化させることが，学習者の講義内容理解を促進するか検証する予定である．
謝辞
本研究の一部は，JSPS 科研費 JP18K19836 の助成による．
参考文献(1) Tatsuya Ishino, Mitsuhiro Goto, and Akihiro Kashihara:”A
Robot for Reconstructing Presentation Behavior in Lecture.”
Proceedings of the 6th International Conference on HumanAgent Interaction (2018)(2) 西口敏司, 村上正行, 亀田能成, 角所考, 美濃導彦:”
受講者撮影機能を持つ双方向コミュニケーション記
録型講義自動アーカイブシステム(<論文特集> 高等教育と情報)”, 知能と情報, 第 17 巻, 第 5 号, pp.587598 (2005)(3) 椋木雅之, 美濃導彦:”講義室での受講生の振る舞い観測と理解度推定の研究”, 人工知能学会全国大会論文集, 第 26 回, pp.1F2-OS-11-7 (2012)― 404 ―