HAI シンポジウム 2024
Human-Agent Interaction Symposium 2024

P-66

注視オブジェクトに着目した受講生の注視行動と理解度の関係調査
Relationship between Gazed Object History
and Comprehension Level
田丸 真彩 1∗
Maaya Tamaru1
広島市立大学
1
Hiroshima City University
1

方 昱2
Fang Yu2

原田翔太 1
Shota Harada1
2

満上育久 1
Ikuhisa Mitsugami 1

ホンダ・リサーチ・インスティチュート・ジャパン
2
Honda Research Institute Japan

Abstract: 本研究では，講義中の受講生の注視オブジェクトの時間遷移と講義理解度の関係について調査する．そのために，アイトラッカーを使用して受講生の視線情報と視野映像を取得し，視野映像に対するインスタンスセグメンテーションと視線情報をもとに各時刻における注視オブジェクトを推定する手法を開発する．この手法を用いて，講義動画を視聴した実験参加からデータを収集し，理解度が高い学生と低い学生の違いを分析する．

1

はじめに同一の講義を受講しているのにも関わらず，受講生ごとに講義への理解度は異なる．これは，受講生が元来持つ能力の違いが原因と考えられるが，それに加えて授業を受ける姿勢や態度，授業時間中の行動など「講義への取り組み方」の違いが理解度に影響を与えていると考えられる．実際，椋木ら [1] は，大学の講義における受講生の「振る舞い」と「理解度」には関係性があると報告している．
また，「講義への取り組み方」のなかでも「注意の向け方」も理解度に関係があると報告されおり，藤好ら[2] は英語のペーパーテスト実施中の注視行動とテストの点数には関係があると示し，視線移動情報とテストの正答数を用いることで，テストの点数を推定する手法を示した．黒田ら [3] は，視線計測のできる VR システムを構築し，講義動画内の講師の動作と受講生の視線を定量的に計測し，視線情報から受講生の理解度の高低を推定する手法を提案している．そして，各受講生の理解度が推定可能であることを実験的に示している．しかしこの手法は，VR 空間で講義動画を視聴するため，現実空間との授業環境に差が生じる．
そこで本研究は，アイトラッカーを用いることで現実空間での講義における受講生の視線情報を計測し，注視オブジェクトと理解度の関係を調査することを目的とする．黒田らの研究と同様に講義受講中の視線の定量計測を行うが，視野映像に対してはインスタンスセ∗ 連絡先：広島市立大学〒 731-3194 広島市安佐南区大塚東三丁目 4 番 1 号
E-mail:f20097@e.hiroshima-cu.ac.jp

グメンテーションを施すことで，講師の動作を注視する注視点位置そのものではなく，注視点がどの物体に向いていたか（講師，スクリーン等）に注目し，視線がどの物体を見ていたかを判定することで注視物体の時系列を獲得する．これらを理解度が高い受講生と低い受講生から注視物体時系列を取得し，両者にどのような違いがあるかを調査する．

2

注視オブジェクトの認識

本実験では講義動画をプロジェクタで壁面に投影したものをアイトラッカー着用の受講生に視聴させる形でデータを収集する．受講生には講義動画視聴時に眼鏡型のアイトラッカーを装着させるが，一斉授業を行い多くの受講生からデータ収集をすることはデバイスの個数上困難であり，少人数の受講者に講義を複数回行う方法は全く同一の授業を複数回行うことは不可能であるため，実験条件の一貫性が保証できないためである．
しかしこの実験環境では，受講生が投影した映像を見やすいよう部屋の照明を暗めにして実験を行うため，投影されている講義動画がアイトラッカーの視野カメラ映像中で白飛びしやすく，視野映像に対するインスタンスセグメンテーションでは，講義動画内のオブジェクトを安定に検出できないという問題が生じる．そこで，インスタンスセグメンテーションを視野映像ではなく講義動画そのものに施す．
そのために，視野映像内の注視座標から講義動画自体の注視座標を求める必要がある．あらかじめプロジェ
クタの投影エリア周囲に AR マーカを貼付した状態で(a) 講義開始直後(b) 講義中盤
図 3: 注視オブジェクト時系列

図 1: 座標変換のイメージ図

図 2: 注視オブジェクトの可視化のイメージ図受講生から視線情報を収集する．講義動画の投影位置は固定してあるため，視野映像内の AR マーカを検出することで，講義動画の各頂点の座標を獲得し，それらの座標と，講義動画自体の各頂点の座標の平面射影変換行列を求めることで，講義動画内での注視座標を求める．座標変換のイメージ図を図 1 に示す．
そして，講義動画の各フレームにインスタンスセグメンテーションを行い，そのフレームでの注視座標がどのオブジェクトに分類されているかを出力すること
で，講義動画中の受講生が注視しているオブジェクトの時系列を獲得する．

3実験

広島市立大学情報科学部の学生 15 名から提案手法によりデータを収集・分析した．なお，講義動画に対するインスタンスセグメンテーションには，PixelLib，アイトラッカーは Tobii Pro Glasses 3 を使用した．受講生には講義動画視聴後，理解度を判定するために，講義内容に関する筆記試験（満点は 22 点）を課した．そのスコアの上位 4 名を理解度が高い群，下位 4 名を理解度の低い群とし，各受講生の注視オブジェクトを一秒ごとに出力し，各クラスに色を設定することで注視オブジェクトを可視化した．イメージ図を図 2 に示す．
計 8 名の注視オブジェクトを時系列で観察すると，注視オブジェクトに特徴があらわれた区間がいくつか存在したので，2 つの区間を例に挙げて考察する．
まずは，講義開始直後の注視オブジェクト時系列を
図 3 の (a) に示す．この区間においては，理解度の高い群の受講生も，低い群の受講生も注視オブジェクトに違いはあらわれず，どちらも講義スライドをよく注視していた．この場面は講義開始直後であるため，受講生たちは高い集中力が保たれており，講義に無関係なオブジェクトを注視しなかったと考えられる．
この区間においては，理解度の高い群の受講生も，低い群の受講生も注視オブジェクトに違いはあらわれず，どちらも講義スライドをよく注視していた．この場面は講義開始直後であるため，受講生たちは高い集中力が保たれており，講義に無関係なオブジェクトを注視しなかったと考えられる．
次に，講義中盤の注視オブジェクト時系列を図 3 の(b) に示す．この区間においては，理解度の高い群の受講生は講義スライドをよく注視していたが，理解度の低い群の受講生は講義に無関係なものを注視している時間が理解度の高い群よりも多いことが確認できる．
この場面は講義スライドに「まとめ」が表示され，理解度の低い群の受講生は「講義が終了する」と気が抜け，集中力が低下したと考えられる．

4

おわりに

本研究では，講義中に受講生が注視しているオブジェクトから理解度を推定することを目的として，アイトラッカーを用いて視線情報を計測し，インスタンスセグメンテーションと組み合わせることで講義への理解度の高低と注視オブジェクトの関係を調査する手法を提案した．そして，実際にこの手法を用いて 15 名の講義動画視聴時の視線情報を収集し，理解度の高い群の受講生と低い群の受講生の注視オブジェクトを時系列で観察した．その結果，2 つの群で異なる傾向がみられる場面があることが確認できた．今後は，より実際の授業環境に近い受講環境で実験を行い，受講者の数を増やすことで詳細な分析を行う予定である．

参考文献[1] 椋木雅之，美濃導彦，京都大学学術情報メディアセンター，「講義室での受講生の振る舞い観測と理解度推定の研究」，人工知能学会全国大会，2012 年．
[2] 藤好宏樹，吉村和代，Kai Kunze，黄瀬浩一，「英文問題解答時の視点情報を用いた英語能力推定法」，
電子情報通信学会技術研究報告，Vol.115，No.22，
pp.49-54，2015 年．
[3] 黒田明日香，満上育久，「VR 講義動画視聴における理解度と注視分布の関係の分析」，第 18 回情報科学技術フォーラム，2019 年．