C5-1

学習者の姿勢・視線センシングデータを用いた状態推定によるインタラクティブロボット講義の評価
Evaluating an Interactive Robot Lecture Using Estimation of Learning State
with Posture and Gaze Sensing
島崎 俊介*1, 柏原 昭博*2
Toshiyuki SHIMAZAKI*1, Akihiro KASHIHARA*1*1 電気通信大学 大学院情報理工学研究科 情報学専攻*1Graduate School of Informatics and Engineering, The University of Electro-Communications
Email: shimazaki@uec.ac.jp
あらまし：本稿では，講義における学習者の姿勢および視線センシングデータを用いて，注意が外れている並びに理解が追従できていない状態を推定し，インタラクティブにリカバリを試みるインタラクティ
ブロボット講義の評価を報告する．ケーススタディでは，姿勢および視線の両方のセンシングデータを用いて学習状態推定を行うことで，受講状態をより正確に把握することができ，人間講師がインタラクションすべきと判断したタイミングでロボットがインタラクションできる可能性が示唆された．
キーワード：インタラクティブロボット講義，学習状態推定，注意・理解リカバリ，センシングデータ

1.

はじめに

講義では，人間講師は学習者の受講状態（姿勢，視線，表情，ノートテイキング，小テストの結果，特性等）を総合的に判断し，注意が外れていないか，理解できているかを推定し，講義を進める．しかし，ベテランの人間講師でも容易ではない．筆者らは，現在人間講師の講義をロボットが代行するインタラ
クティブロボット講義研究 1),2)を進めている．この研究では，人間講師の講義に勝ることではなく，ロボットが人間講師と同等の講義をモデルベースに代行することを目指しており，学習者の受講状態に応じて，ロボットが有する擬人化傾向と身体性を生かしたインタラクションをすることで，長時間の講義でも学習者の注意維持と理解追従を支援する．将来的には，多様な講義形態の選択肢を増やし，1 人 1 台
学習パートナーロボット時代の実現を目指している．
本稿では，学習者の姿勢・視線センシングが，インタラクティブロボット講義における学習者の受講状態推定として有効であるかを評価したケーススタ
ディについて報告する．

2.

学習者の姿勢・視線センシング

2.1 姿勢センシング
姿勢センシングでは，Kinect を用いて学習者の骨格や顔のトラッキングデータを画像形式で取得し，10 秒毎のサンプリング間隔で姿勢推定フレームワ
ーク OpenPose の信頼度を取得する．信頼度は，右耳，左耳，右目，左目，右手，左手，首を使用する．
本研究では，講義スライド毎に姿勢センシングを行い，顔が右向き，左向き，上向き，下向きのいずれかで，同じ講義スライド内で 2 回以上推定された学習状態を非集中状態と推定し，ロボットが学習者の注意が外れたタイミングと判断する．例えば，顔の右向きは受講中に取得した学習者の右耳と右目の両方の信頼度の値が，講義前のキャリブレーションで取得した信頼度の平均値より低い場合に推定される．

図 1 学習者の視線センシングデータの一例
本手法は，筆者らによる関連研究 1)のスケルトンデータの座標取得とは異なり，多様な受講時の姿勢に頑健な状態推定精度であることを確認している 2)．
2.2 視線センシング
視線センシングでは，tobii pro nano を用いて講義における学習者の PC モニター閲覧状態を取得する．
本研究では，先行研究でデザインした講義動作モデ
ル及びシナリオ制御モデル 2)で示している学習者の受講状態が非集中状態あるいは集中状態のいずれかを推定する際に用いる．図 1 は実際の視線センシングデータを示しており，横軸は講義時間，縦軸は視線を外した時間である．本研究では，視線を外した時間 10 秒以上を閾値(図 1 の赤色点線)として非集中状態と推定し，10 秒未満を集中状態と推定している．
本手法は，関連研究等で実施されている視線情報を用いた学習状態推定の異なる点として，あくまで学習者が PC モニターを見ているか・否かの 2 値の取得に限定して集中状態・非集中状態を推定している．これにより，学習者に視線計測ウェアラブル端末の装着求めずに低コストで実現できるだけでなく，通常の講義と同等で自然な受講状態の測定ができる．

― 263 ―

教育システム情報学会 JSiSE2023
第48回全国大会 2023/8/29-8/31表1
被験者
ID

図2

加えて，視線センシングは，姿勢センシングと組み合わせた並列処理を想定しているため，システムの負荷軽減の必要があるが，本手法は長時間の講義でも姿勢・視線の同時センシングを可能としている．

3.

インタラクティブロボット講義システム

本システムは，人間講師の講義を事前に Kinect で収録して作成された講義シナリオをもとに，学習状態推定，講義シナリオ再構成，学習者とのインタラクションを実施する(図 2)．具体的には，講議スライ
ド毎に推定された学習状態と講義シナリオで想定される状態を比較し，一致した場合ロボットは講義シナリオベースに講義を実施する．一致しない場合，ロボットはシナリオ制御モデルベースに講義シナリオを再構成し，先行研究の注意・理解リカバリアルゴリズム 2)に基づきリピート，ポーズのインタラクションとチャットボット機能による問題提示を行う．

4.

1
2
34567

インタラクティブロボット講義システム

ケーススタディ

4.1 実験計画
姿勢・視線センシングが，インタラクティブロボ
ット講義における学習状態推定に有効かを検証する
ケーススタディを 2 つの高校(以下，A 高校と B 高校とする)で実施した．被験者は，24 名である．講義は，高校 1 年生で学習する「情報Ⅰ」を題材とし，30 分程度の 2 種類のコンテンツを用意した．
実験は，2 グループに分け（A 高校の被験者 8 名を 4 名ずつ，B 高校の被験者 16 名を 8 名ずつ）
，受講順序を考慮し，インタラクティブロボット講義(IL 条件)と，ロボット講義(NL 条件) を設定し，カウンターバランスを考慮し，電気通信大学人を対象とする研究に関する倫理委員会承認の元，被験者内計画で実施した．
実験中の講義動画は，被験者と高校教員に同意を取り，受講状態分析の目的で撮影した．
被験者は受講後，理解度テスト，受講後アンケー
ト，受講状態アンケート，全体アンケートに回答した．実験では，A 高校では姿勢センシングのみ，B 高校では姿勢・視線センシングの両方で受講状態推定を行い，システムは両条件ともに学習者の姿勢・視線センシングデータを収集した．理解度テスト・受
講後・全体アンケート結果の考察は文献 2)に譲る．
4.2 姿勢・視線センシングの結果と考察
A 高校では，8 名全員が集中状態として推定された．講義動画の目視から，受講中の姿勢は概ね良好で，姿勢センシングは妥当だったと考えられる．

視線・姿勢センシングの学習状態推定精度
姿勢センシングのみ
非集中
状態
適
再合
現率率
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00
0.00

集中状態
適合率
1.00
1.00
1.00
1.00
1.00
1.00
1.00

再現率
1.00
1.00
1.00
1.00
1.00
1.00
1.00

姿勢・視線
センシング両方
非集中
集中状態
状態
適
再
適
再合
現合
現率率率率
1.00
1.00 1.00
1.00
1.00
1.00 1.00
1.00
1.001.00 1.00
1.00
1.00
1.00 1.00
1.00
0.00
0.00 1.00
1.00
0.00
0.00 1.00
1.00
1.00
1.00 1.00
1.00

B 高校では，被験者 16 名中 7 名(表 1:ID:1~7)が視線センシングで非集中状態と推定された．講義動画
より，3 名は 10 秒以上 PC モニターを見ずにノートテイキングしていた状態で，4 名はよそ見や居眠り状態だった．非集中状態を推定後，ロボットは注意リカバリとしてウォークとマルチメディアによる注意喚起のインタラクションを行った．その結果，7名中 5 名がその後集中状態を取り戻した．また，チャットボット機能による理解リカバリが発生した 2名の理解度テスト点数は平均点に近づいた．
ここで，非集中状態が推定された 7 名に着目し，高校教員による推定結果を正解とし，システムによる推定結果の適合率・再現率を非集中状態が推定されたコンテンツの講義スライド全体の値で算出した．表 1 より，姿勢センシングでは非集中状態の適合率が 0.00 なのに対し，姿勢・視線センシングでは適合率・再現率が 1.00 であった．これらの理由として，本実験が実験室実験のため，受講中の姿勢が普段の講義より正しくなる傾向にあり，姿勢センシングだけでは非集中状態を推定するのは困難だったと考えられる．またシステムは顔が下向きのノートテイキング(ID:5,6)を非集中状態と推定したが，高校教員は集中状態とした．今後，ノートテイキングの検討が必要だが，姿勢・視線センシングによる学習状態推定は概ね人間講師に近かったといえる．

5.

おわりに

本研究では，学習者の学習状態推定として姿勢・視線センシングがインタラクティブロボット講義における学習状態推定として有効であることを確認した．今後は，精度向上としてタブレット端末を用いたノートテイキング推定の評価を行う予定である．
謝辞
本研究の一部は，JSPS 科研費 23H03505 の助成を受けた．
参考文献(1) 菅原歩夢, 石野達也, 後藤充裕，柏原昭博：インタラクテ
ィブ講義ロボットのための学習者状態推定，教育システ
ム情報学会 2019 年度全国大会，pp.403-404.
(2) 島崎俊介，柏原昭博：インタラクティブロボット講義における注意・理解リカバリの有効性評価，教育システム
情報学会 2022 年度第 6 回研究会，No.6，pp.149-156.

― 264 ―