G3-3

講義映像分析のためのタグ付け支援と可視化
An interface for Tagging-support and Visualization for Analyzing Lecture Video
西口 敏司*1, 豊浦 正広*2, 村上 正行*3
Satoshi NISHIGUCHI*1, Masahiro TOYOURA*2, Masayuki MURAKAMI*3*1 大阪工業大学 情報科学部*1Faculty of Information Science and Technology, Osaka Institute of Technology*2 山梨大学大学院 医学工学総合教育部*2Interdisciplinary Graduate School of Medical and Engineering, University of Yamanashi*3 京都外国語大学 マルチメディア教育研究センター*3 Research Center for Multimedia Education, Kyoto University of Foreign Studies
Email: satoshi.nishiguchi@oit.ac.jp
あらまし：映像処理技術の発展により，講師や受講者を撮影した講義映像に対する様々な状況を自動的に分析することが可能となりつつある．一方，自動分析された映像シーンが，実際にどのようなシーンであるかについての意味的記述を自動化することは現段階では困難であるため，現状では分析者が講義映像を見ながらタグ付けを行う必要がある．本稿では，このような分析者のタグ付け支援とタグの可視化インタフェースについて検討する．
キーワード：講義映像分析，タグ付け，可視化

1.

はじめに大学教育における授業改善（Faculty Development:FD）活動が義務化され，各高等教育機関では FD に関する様々な活動が活発化している．このような状況の中で，従来から，授業中の講師や受講者の様子を撮影し，その映像を分析することで，授業改善などに活かそうとする試みがある[1,2,3]．これらの試
みでは，受講者の顔上げ動作の有無などを，映像を見ながら手動でタグを付与することが一般的であるが，タグ付け作業は，経験，時間，根気が必要であり，敷居が高いという問題がある．
一方，画像処理・画像理解技術を用いた受講者の振る舞いの観測に基づき，理解度を推定する手法も提案されている[4]．このような自動化により，タグ付けにかかる労力を軽減することが見込まれるが，分析者が必要とするタグの意味的な種類は分析者毎に異なり多様であるため，現在の映像分析技術によるタグ付けの完全な自動化は未だ困難な状況である．
そこで本稿では，講義映像に対して手動でタグ付けを行う状況において，タグ付けの経験が少なくとも意味的タグ付けを容易とする，タグのアイコン化，及び，タグ付け結果の定性的把握を容易とする三次元可視化について検討する．

2.

映像分析のためのタグ付け

大学などの高等教育機関における講義の形態は，近年大幅に多様化している．従来から実施されてきた座学や演習形式の授業では，約 90 分の授業時間の間に，前回の復習も含む導入部，展開部，まとめ部などのシーンが存在し，受講者は座席に座って受講することがほとんどであった．一方，近年実施されることが多くなってきた反転授業では，MOOCs 等で予習しておき，授業では予習した内容に基づいて複数の受講者間で議論することで理解を深めることを目指しているため，受講者は授業中に移動したり，発話したりするシーンが増えることが予想される．
このように，様々な形態で実施される講義を分析するために必要なタグは多様化しつつあり，講義形態に応じたタグの設計，及び，付与が容易な仕組みが必要となる．さらに，講師や受講者を撮影した長時間の講義映像において，観測対象である講師や受講者の様子，及びシーンの状況は急激には変わらず，数十秒から数分をかけて緩やかに変化することもある．従って，講義映像に対するタグ付けのための視聴の際に，シーンが遷移する時間を仮想的に変化させ，観察対象やシーンの変化に気づきやすくするために，早送りやコマ送りなどの操作を容易とする仕組みが必要である．

3.

アイコン化タグ

タグ付けに不慣れでもその作業を容易とするために，観察対象に付与可能なタグをアイコン化し，グループ化して分析者に提示する．今回試作したタグ付けインタフェースの画面例を図 1 に示す．この例
では，複数台のカメラで講義を撮影し，1 画面に収めた講義映像を用いている．一般的な映像再生操作が可能であり，左上のアイコンは，観測対象として，講師，受講者，シーンを取り上げ，それぞれの対象に付与可能なタグをアイコン化し，パネルとして提示した例である．タグ付けの際には，各観測対象に応じて各パネルのいずれかのみを表示し，対象が見やすい位置にパネルを移動して，映像を見ながら，観測対象毎に設定されたアイコン化タグをマウスクリック等で選択する．各観測対象に対するタグ付け― 199 ―

教育システム情報学会 JSiSE2015
第 40 回全国大会 2015/9/1～9/3

図 1. 講義映像とタグパネルの提示例

図 3 タグの三次元可視化の例

図 2 シーンに対するタグ付け作業の例

図 4 映像にスーパーインポーズ合成した三次元可視化の例の結果は映像のフレーム番号で管理することで複数の観測対象間の時間的同期をとる．図 2 にシーンを対象としたタグ付け作業の例を示す．

4.

付与したタグの三次元可視化

3.において付与したタグに基づき，各観測対象の状態，及び，それらの間の関係を総合的に表現し，定性的な状態の遷移の把握を容易とするために，各観測対象のタグのグループを軸として持つ三次元可視化を行う．図 3 にタグ情報を三次元可視化した例を示す．この例では，赤，緑，青の軸がそれぞれ講師，受講者，シーンのタグのインデックスを表し，それぞれのインデックスを座標値とする位置に黄色い球を提示している．各観測対象について，動きが大きいことが予想されるタグに対して大きいインデックスを割り付けているため，黄色い球が原点から離れるほど全体的な動きが大きいことが分かる．さらに，図 4 に，分析対象の映像に三次元可視化の様子を重畳表示した例を示す．映像と同時に確認することで，どのような講義状況に基づいたタグ付け結果であるのかを同時に把握することが可能である．

5.

おわりに

本稿では，講義映像の分析のための手動によるタグ付けを支援するためのアイコン化タグとタグ付け結果の三次元可視化インタフェースについて検討した．本稿で検討したインタフェースは，映像に多様な評価基準を持つタグを付与可能であるため，人間の行動分析のための映像など講義映像以外の映像にも適用できる可能性がある．今後の課題としては，実際のタグ付け作業における有効性評価に基づくインタフェースの改良，複数の分析者による同時タグ付け手法の検討，映像からの自動タグ付けアルゴリ
ズムとの併用などが挙げられる．
謝辞
本研究の一部は，科学研究費補助金基盤研究(B)(課題番号：26282062)の補助を受けた．ここに記して感謝する．
参考文献(1) 京都大学高等教育教授システム開発センター編: “大学授業のフィールドワーク,” 玉川大学出版部, 2001.
(2) 村上正行, 角所考, 美濃導彦: “マルチメディア一斉講義における内容に基づく受講生の注視行動の分析,”
人工知能学会誌 Vol.17,No.4,pp473-480, 2002.
(3) 西口 敏司，豊浦 正広, 村上 正行: “受講者映像分析のための注目受講者指定インタフェース”, 第 38 回教育システム情報学会全国大会講演論文集, pp.19-20,
2013.
(4) 椋木 雅之, 美濃 導彦: “講義室での受講生の振る舞
い観測と理解度推定の研究,” 人工知能学会全国大会(第 26 回), 1F2-OS-11-7, pp.1-4, 2013.

― 200 ―