P2-16

没入型 HMD を用いた受講者の視線傾向の獲得と分析
Acquisition and Analysis of Students’ Gaze Tendency
During a Lecture Using Immersive HMD
鎌田 大樹*1, 西口 敏司*2, 村上 正行*3
Taiki KAMADA*1, Satoshi NISHIGUCHI*2, Masayuki MURAKAMI*3*1
大阪工業大学大学院 情報科学研究科*1
Graduate School and Faculty of Information Science and Technology, Osaka Institute of Technology*2
大阪工業大学 情報科学部*2
Faculty of Information Science and Technology, Osaka Institute of Technology*3
大阪大学 全学教育推進機構*3
Center for Education in Liberal Arts and Sciences, Osaka University
Email: m1m19a09@oit.ac.jp
あらまし：大学等における講義状況の推定は，授業改善や講義映像の要約に活用可能な重要な情報であると考えられる．しかしながら，ビデオを用いて推定を行う従来の手法では，手間や精度の問題が大きいた
め，我々は，全天球カメラと没入型 HMD を用いて，視線を獲得し講義状況を推定する手法を提案した．
本研究では，上記手法を用いた視線傾向に基づく講義状況の分析を行う．
キーワード：全天球カメラ，没入型 HMD，視線検出，学習者特性，行動分析

1.

はじめに大学等の授業改善の手法の一つとして，講義における講師や受講者を撮影し，講義後に映像を視聴して講義状況の分析や振り返りを行う，授業リフレクションという取り組みがある 1)．しかしながら，１回分の講義全体を見返し分析するには時間や労力の問題から継続的に取り組むことが難しい．そこで我々は， 講義室内の受講者視点に設置した全天球カメラで撮影した講義映像を没入型ヘッドマウントディスプレイ(HMD)で視聴することで臨場感の高い受講体験が可能な枠組みを活用し，没入型講義映像を視聴する学習者の視線情報を獲得することで，各視聴者の視聴傾向や複数の視聴者間での視線の同期性を分析する手法について提案を行った 2)．
本研究では，この手法を用いて講義中の受講者の視線傾向の獲得と分析を行う．

2.

没入型講義映像を用いた視線検出

2.1 没入型講義映像の撮影
没入型講義映像として，京都外国語大学村上ゼミの学生によるゼミ発表の様子（発表映像）および質疑応答の様子（質疑映像）を撮影した．質疑時には，ゼミ担当教員も講義室の前に立ち座長の役割を担った．撮影した講義室は，高低差のない 40 名程度の受講者を収容可能である．全天球カメラとして RicohTheta V を利用し，講義室の受講者席の 2 箇所（前方，後方）に，着席した受講者の視点の高さとなるように設置して撮影した．

出が可能な FOVE 社製の FOVE0 を使用した．実際の講義とは異なり，受講者は複数人の同一受講者席からの講義の受講と異なる受講者席からの同一講義の受講が可能となるため，複数受講者の視線行動分析の際に，受講者席に依存しない分析が可能であり，同一受講者の異なる受講者席による視線行動の変化の分析も可能である．我々の手法 2)では，視線を向ける対象の候補として，パワーポイント用スクリーン，発表者，他の受講者(1~3)，その他，を映像中に手動で設定した．質疑映像には，視線対象候補としてゼミ担当教員を追加した．また，視線対象に目を向けていない状態として，視線移動，瞬き，不一致（左右の視線検出誤差が大きい），という状態も設定した．しかしながら，講義映像内の発表者とゼミ担
当教員は，身振りなどの動きがあったり，移動したりするため，固定した設定では対応できない．
そこで本研究では，画像から人の関節の位置を推定可能な OpenPose を用いて，発表者およびゼミ担
当教員の姿勢を検出し，視線対象としての設定をフレーム毎に行う．講義室中央の前から 2 列目の受講者席に設置した全天球カメラで撮影した映像を正距円筒図法で表現した例を図 1 に示し，設定した視線対象候補の領域を緑色の矩形で示している．

2.2 没入型講義映像における視線行動の検出
没入型講義映像を視聴する没入型 HMD として，提案した手法 2)と同じく映像視聴中の視線方向の検― 275 ―図 1 全天球カメラ映像における視線対象候補の例

教育システム情報学会 JSiSE2019
第44回全国大会 2019/9/11-9/13

大阪工業大学情報科学部の学生 10 名(A~J)を被験者とし，発表中および質疑中の没入型講義映像をFOVE0 でそれぞれ約 3 分(180 秒)視聴してもらい，各時刻における視線対象を記録した．

3.

視線の集中度合いの分析

被験者 10 名の視線傾向を分析する際，各被験者の瞬き，視線移動，不一致の状態は，被験者の意図と関係なく発生するため，分析には含めなかった．また，視線を向ける対象として設定した他の受講者(1~3)は，全体で一つの視線対象とした．前方と後方の受講者席で質問シーンを視聴した際の被験者の対象ごとの時間的な視線割合を，それぞれ図 2，図 3に表す．縦軸が視線割合で，横軸は時間(秒)である．
図 2 より，前方の受講者席においては，ゼミ担当教員と発表者への視線の偏りが存在することがわかる．加えて，スクリーンに視線を向けることがあることが確認できる．これらは講義中に情報を発するメディアであると捉えることができる．
一方，図 3 では，全体的に，その他の割合と他の受講者への視線の割合が高い．これら 2 つの対象は講義の進行には直接関係がなく，後方の受講者席においては，目移りする行動をとる可能性がある．ただし，85 秒~89 秒の間ではスクリーンの割合が高くなっている状況が観測されている．このタイミング
では，ゼミ担当教員が発表者に質問を行っており，スクリーンの切り替えを指示し，指差しを行っていた．このことから，教員が対象に視線を向けるような振る舞いや発言を行うと瞬間的に受講者の関心を高めることが可能であることが分かる．

図 2 受講者視点（前方）映像の視線割合の推移である．これらのグラフ上の複数のピークは，視線対象への突出した視線の集中が存在することを示している．一方，図 4 の 59 秒付近では，集中度合いが著しく低い．
図 2 を確認すると 5 つの要素すべてが，同程度の割合で存在している．そのため，各被験者がそれぞれ異なる対象を見ていたことがわかる．

図 4 受講者視点（前方）映像の視線集中度の推移

図 5 受講者視点（後方）映像の視線集中度の推移

4.

おわりに

本研究では，講義状況の分析を行う手法として，没入型 HMD を用いて，受講者の視線傾向を獲得，分析する手法を用いて分析を行った．講義における受講者の講義への関心を，全天球カメラで撮影した映像に対する視線傾向を計測することにより，受講者の講義への関心を定量的に分析および可視化する手法を提案した．今後の課題としては，より教員や発表者に動きのある映像を用いた分析，被験者数を増やした分析などが挙げられる．
謝辞
本 研 究 の 一 部 は ， JSPS 科 研 費
18H01063 の助成を受けたものです．

18K11590,

参考文献
(1)

図 3 受講者視点（後方）映像の視線割合の推移(2)次に，前方と後方の時間ごとの被験者の視線集中度合いを視線割合の分散で求めたものを図 4，図 5に示す．縦軸は被験者間の視線割合の分散（集中度合い）であり，分散が大きいほど視線が偏っている，つまり，集中していることを表す．横軸は時間(秒)― 276 ―

米谷 淳,“授業観察事始め －授業というフィールドにおける本格的な行動研究を目指して－,”大学授業のフィールドワーク －京都大学公開実験授業－, 京
都大学高等教育教授システム開発センター編, 玉川大学出版部, p.74 - p.99, 2001.
鎌田 大樹, 西口 敏司, 村上 正行, "没入型講義映像を用いた受講者の視線特徴の分析," 教育システム情報 学 会 , 2018 年度 JSiSE 学 生 研 究 発 表 会, A04,
2019-02.