深層ニューラルネットワークや事前学習済みモデルの発展に伴って視覚および言語の横断タスクが多くの研究分野にて注目されている．映像と言語の融合領域タスクの一つとして「動画キーフレーム物語生成タスク」が提案されている．このタスクは指定した数のキーフレームと，それに対応する説明文を用いて，動画全体の要約を生成するタスクと言える．本研究では，既存のベースラインモデルの改善に加えて，新たにEnd-to-endでの動画キーフレーム物語を生成する手法である解候補制約付き生成法を提案する．実験の結果，提案法は改善したベースラインモデルに比べて，キーフレームの選択精度は劣るものの，生成された説明文の質はベースラインモデルに比べて向上する結果となった．

本研究では，映像と言語の融合タスクの一つである動画キーフレーム物語生成タスク[1]に着目し，更なる性能向上のため新たな方法論の確立を目指す．動画キーフレーム物語生成タスクは，動画要約タスクの一種で，簡潔に述べると動画を絵コンテのように数枚の画像と説明文で説明するタスクである．このタスクの難しさは，キーフレームの相対的な重要度を考慮しつつ，対応する説明文も生成しなくてはならない点である．キーフレームと説明文は相互依存関係にあり，どちらかが決まるともう一方も決まるといった関係である．よって，キーフレームと説明文は理想的には同時に予測する必要がある．本タスクのベースライン法を提案している文献[2]では，同時予測が計算コスト面でも実装面でも困難であることから，問題を分解してキーフレー∗第一，第二著者の本論文への貢献は同等であるムの抽出と説明文の生成を独立に実施するモデルを本タスクのベースラインとして提案している．本研究では，まずベースラインの改良として，キーフレームの抽出と説明文の生成の一方を固定し交互に反復して予測する方法を提案する．また，本タスクの性質に適した新しい方法論として，事前学習済みモデルを活用したEnd-to-end方式のモデルも提案する．従来のベースラインの改良とEnd-to-end方式の提案法を本タスクのデータを用いて評価し,その有効性を検証する．