複数動画に対する抽象的キャプション生成のための基本モデルの検討

動画キャプション生成の研究は単一動画の具体的説明に焦点が当てられてきた[1,2]．一般的な動画キャプション生成のタスク設定では，モデルは動画内で起こっているイベントを単文で説明する[3]．動画キャプション生成には動画と自然言語の深い理解が求められ，VisionandLanguage領域における主要なタスクとして盛んに研究されている．一方，動画理解で重要なもう一つの側面に抽象的動画理解がある．図1に例を示す．われわれは左右の動画をそれぞれ大人たちが鏡の前で踊っている動画，小学生の女の子たちが体育館で踊っている動画と認識できる．しかしそれと同時に，二つの動画はいずれも人々がジムで踊っている動画であると抽象的に理解することも可能である．このような抽象的動画理解は，複数動画に共通する内容を見つけ，動画間の関係性を理解する上で重要な役割を果たす．抽象的な動画理解に焦点を当てたタスクとして，われわれは複数動画に対する抽象的キャプション生成を提案し、データセット（本論文ではAbstrActsと称する）を構築した[4]．このタスクは，与えられた複数の動画に共通する情報をできる限り多く説明すAgroupofpeopleisdancinginagym.抽象化力された複数の動画に共通する内容を説明する．るタスクである．このタスクでは，各動画の内容を詳細に理解する能力に加えて，動画間に共通する内容を見つけるための抽象化能力が求められる．本論文では，複数動画に対する抽象的キャプション生成を解くための種々のモデルを検討し，AbstrActsを用いてそれらの性能を評価する．具体的には，複数の動画特徴量を結合してモデルに入力する方法と，モデル全体の構造（End-to-End及びCascade）について検討・評価を行う．実験結果は，異なる時間における動画内容の類似度を考慮した入力手法（SoftAlignment）及びEnd-to-Endモデルの有効性を示す．