動画キャプションモデルを用いた字幕翻訳の検討

機械翻訳において映像情報を用いて翻訳精度を改善する研究が行われている一方，映像情報を含むコーパスには限りがあり，大規模に学習することが難しい．本研究ではこのような問題を回避し，映像情報を話し言葉翻訳に活かす方法を提案する．本手法は映像情報を動画説明文に変換して取り扱うことで，事前学習済みの言語モデルが学習しやすい問題設定とし，規模の小さい視覚情報付きコーパスでも事前学習による性能向上が期待できる．VISAデータセットを用いた実験の結果，多義語を含むデータセットにおいて動画説明文を用いて学習を行う事で，動画説明文を用いない場合よりBLEU値が0.24ポイント，METEOR値が1.19ポイント上昇する結果を得られた．