講義における受講生映像閲覧のための個・群・全体の活動度可視化システム
Activity Visualization System for Reviewing Individuals, Groups and Wholeof Students in Lecture Room Videos
*1

*2

*1

*3

豊浦 正広 , 西口 敏司 , 茅 暁陽 , 村上 正行
*1
*2
*1
*3
Masahiro TOYOURA , Satoshi NISHIGUCHI , Xiaoyang MAO , Masayuki MURAKAMI*1
山梨大学大学院医学工学総合研究部*1
Graduate School of Informatics, University of Educational Systems*2
大阪工業大学 情報科学部*2
Faculty of Information Science and Technology, Osaka Institute of Technology*3
京都外国語大学 マルチメディア教育研究センター*3
Research Center for Multimedia Education, Kyoto University of Foreign Studies
Email: mtoyoura@yamanashi.ac.jp
あらまし：講義中の受講生映像を効率的に閲覧するためのシステムである ActVis を設計・実装した．映像中のどこで何が起こっているかをあらかじめ定義することは難しいことが多く，また，これらを自動で抽出することも技術的に難しい．ActVis では，注目領域すべき領域を利用者に設定させ，その領域内の時間差分量を映像全体で可視化して提示することができる．利用者は ActVis によって，効率的に受講生映像を閲覧し，講義映像内の重要なイベントを確認することができるようになる．
キーワード：授業研究，分析技術，可視化インタフェース

1.

はじめに講義中の受講生映像を利用した授業内容検討が活発に行われてきている．Pea ら（1,2）は，講義室の机上に設置した全方位カメラで取得した映像を授業の振り返りに使うことを提案している．構築されたシステムには，好きな位置にズームしたり，キャプチャ画像にコメントをつけたりする機能が実装されている．MOST（3）は教育活動を記録し，議論のためのコミュニティ支援を行うツールである．映像取得や記録に関する議論がなされ大量のデータが生成されるようになる一方で，1 人の人間が解析できる映像の量には限界があり，負担も大きい，という問題が生じており，このような問題に対応する必要がある．
そこで本研究では，受講生映像を効率的に閲覧するためのシステムである ActVis (Activity Visualization)を構築した．ActVis の根幹をなすパネル(panel)
は，クリック動作によって利用者が簡単に設定することができ，観察したい個人を囲うような領域を指定できるものである．パネル内のフレーム間差分量を検知することにより，パネル内での活動度(activity)を記述することができる．映像の全区間から各パネルの活動度の時間変化をシークバーとして記述することで，映像を通した活動度遷移を俯瞰できるようになる．また，複数のパネルの差分量を 1つのシークバーに合わせて表示することで，個人だけでなく，群や全体の活動度も表示することができる．ActVis による受講生映像の閲覧には，以下の 3つの利点がある．
1) 個人だけでなく，群や全体の活動度が観測できる．活動度の高いところや，逆に活動度の低いところに着目して，効率的に映像分析を行える．

厳格な撮影環境を必要としない．三脚で設置した家庭用カメラで講義映像を撮影するだけで，授業評価に有用な資料とすることができる．
全方位カメラの映像のようにゆがみを持つ映像に対しても，受講者ごとに個別の活動を観察できる．

2)

3)

2.

活動度可視化システム

利用者は観察対象をシステムに伝えるために，映像上に図 1(a)に示すような矩形のパネルを設定する．
システムはパネル内の色の時間差分量(図 1(b))を検出して，その量を示す赤色のゲージを生成する．パネルは画面上をクリックすることで配置できる．パ
ネルにはそれぞれ固有の ID が割り当てられ，パネルの上に ID が表示される．

(a) 観測画像(一部)
図1(b) 時間差分量

パネル内の時間差分算出による活動検出

図 2 に ActVis の概観を示す．映像の下にはそれぞれのパネルの時間差分量が，映像の全区間でどのように遷移したかを表現するシークバーを配置する．
これによって，映像中のどの時刻で活動度が高くな

図1

ActVis の概観と ActVis による受講者(ID01)の状況の分析ったかが俯瞰できる．利用者は，任意の位置をクリックすることで，映像の該当時刻から再生することができる．
個別のパネルは，個別の受講者の活動度遷移を表現するが，受講者群および全体に対する活動度遷移も，個別のパネルの時間差分量を足し合わせることで求める．どの個人がどの群に属するかは，設定ファイルに別途記述してもらうか，映像中の位置の近さで自動的にグルーピングすることで実現する．
どの対象を選択したかを視覚的に分かりやすくするために，シークバー上の左部分にはパネルの IDを付与した．群・個のシークバーを選択すると，対応するパネルの枠の色を変更して強調表示する．個に対しては 1 つのパネルが対応し，群・全体に対しては複数のパネルが対応する．
映像の音量変化も可視化することができる．現在の ActVis では，全体の音量に対して 1 つのシークバーを生成しているが，マイクが複数本あれば，各マイクに対応するシークバーを生成することもできる．
個別のパネルに対応する受講者が特定できていれば，その受講者の氏名や成績などを同時に表示する．
なお，図 1 中のデータはダミーデータである．この機能は，受講の様子と成績の相関を調べるのに利用できる．また，オンラインで授業の様子を可視化するような場合には，受講者情報を確認しながら効率的に講義を進めることができるようになる．

3.

受講者状況分析結果

図 1 に示した映像中の 1 人の受講者(ID01)に着目して，対応するシークバー上の値が大きなところで何が起こったかを調べた．
他の受講者と話をしたり(3)，顔を上げたり(5)するような動作は，授業への集中を知る上で重要な指標となる．学生が顔を上げることによって，その学生の状態を知るだけでなく，その時点で多くの学生が顔を上げたならば，その時点で学生の興味を引くイベントが起こったことも推定できる．一方で，くしゃみをしたり(1)，髪を掻き上げたり(2)しても活動度が高く出ることがあり，授業評価には不要なイベントを検出していることも読み取れる．逆に，何らかのイベントが起こったのに検出できなかった重要な情報がないことについても保証はできない．たとえば，顔を上げたまま眠ってしまうと，活動度の上下はシークバーには現れない．ActVis で可視化できるのは，何らかの動きを伴う動作であるといえる．

4.

まとめ

本研究では，受講者映像を効率的に閲覧することを目指して，ActVis を設計・開発した．画面上にパネルを設定し，その時間差分を検出することによって，個・群・全体の活動度を検出し，さらにシークバーにこれを表現することで，効率的に映像を閲覧できるようにした．
今後の課題として，実際の授業内容検討に対するさらなる貢献を挙げる．現在の ActVis は利用者が映像を効率的に閲覧するためのシステムであるが，さらにこれを映像クリップの作成に使えるように拡張すれば，映像編集の利用価値も生み出すことができる．
謝辞
本研究の一部は，科学研究費補助金基盤研究(B)（課題番号:23300311）の補助を受けた．

参考文献
(1)

(2)
(3)

Pea, R., Mills, M., Rosen, J., Dauber, K., Effelsberg, W.,and Hoffert, E.: “The diver project: Interactive digital
video repurposing”, IEEE MultiMedia, Vol.11, No.1,pp.54-61 (2004)
Pea., R.: “International Handbook of Virtual Learning
Environments”, Kluwer Academic Publishing (2006)
Sakai, H.: “The localization of keep toolkit and its
application to higher education in japan”, InternationalSociety for the Scholarship of Teaching and Learning
Conference (2009)