事前学習モデルを活用したEnd-to-end型動画キーフレーム物語生成法

深層ニューラルネットワークや事前学習済みモデルの発展に伴って視覚および言語の横断タスクが多くの研究分野にて注目されている．映像と言語の融合領域タスクの一つとして「動画キーフレーム物語生成タスク」が提案されている．このタスクは指定した数のキーフレームと，それに対応する説明文を用いて，動画全体の要約を生成するタスクと言える．本研究では，既存のベースラインモデルの改善に加えて，新たにEnd-to-endでの動画キーフレーム物語を生成する手法である解候補制約付き生成法を提案する．実験の結果，提案法は改善したベースラインモデルに比べて，キーフレームの選択精度は劣るものの，生成された説明文の質はベースラインモデルに比べて向上する結果となった．