事前学習モデルを活用したEnd-to-end型動画キーフレーム物語生成法

本研究では，映像と言語の融合タスクの一つである動画キーフレーム物語生成タスク[1]に着目し，更なる性能向上のため新たな方法論の確立を目指す．動画キーフレーム物語生成タスクは，動画要約タスクの一種で，簡潔に述べると動画を絵コンテのように数枚の画像と説明文で説明するタスクである．このタスクの難しさは，キーフレームの相対的な重要度を考慮しつつ，対応する説明文も生成しなくてはならない点である．キーフレームと説明文は相互依存関係にあり，どちらかが決まるともう一方も決まるといった関係である．よって，キーフレームと説明文は理想的には同時に予測する必要がある．本タスクのベースライン法を提案している文献[2]では，同時予測が計算コスト面でも実装面でも困難であることから，問題を分解してキーフレー∗第一，第二著者の本論文への貢献は同等であるムの抽出と説明文の生成を独立に実施するモデルを本タスクのベースラインとして提案している．本研究では，まずベースラインの改良として，キーフレームの抽出と説明文の生成の一方を固定し交互に反復して予測する方法を提案する．また，本タスクの性質に適した新しい方法論として，事前学習済みモデルを活用したEnd-to-end方式のモデルも提案する．従来のベースラインの改良とEnd-to-end方式の提案法を本タスクのデータを用いて評価し,その有効性を検証する．