動画キャプションモデルを用いた字幕翻訳の検討

機械翻訳技術の発展により，実時間での同時翻訳や映画・漫画といった視覚情報を含む発話文や説明文を多言語に翻訳する研究が盛んに行われてきている[1,2]．新聞やWeb上の文章をはじめとする文章の文脈や文法が意識される書き言葉とは異なり，同時翻訳や映画などの視覚情報を含む発話や会話には，指差しや視覚情報を共有しているという前提での主語の省略や，英語の“ﬁgure”やフランス語の“grille”といった場面に応じて異なった意味を含む多義語が事前の文脈情報なしに含まれることがある．このような問題に対しては，視覚情報を考慮して翻訳することが有用だと考えられており，視覚情報を用いた翻訳手法の研究が進められている．実際に，Multi30k[3]やVATEX[4]など複数の視覚情報付きデータセットにおいて、視覚情報を追加することにより翻訳精度を改善できることが報告されている[5,6]．一方，映像情報を含む対訳コーパスの数は数千文から多くて数十万文と規模が小さく，大規模に学習することが難しい.本研究では視覚情報を動画説明文として受け取る事で話し言葉翻訳において改善が見込めると仮説を立て，大規模自然言語モデルにおいて視覚情報を取り扱う手法を提案する．本手法は視覚情報を事前に学習した動画キャプションモデルによって動画説明文へと変換し，変換した動画説明文を大規模自然言語モデルの入力として取り扱うことで事前学習済みの自然言語モデルを用いて学習を行う．自然言語処理ではmBART[7]やT5[8]といった大規模な事前学習を行った機械学習モデルを特定のタスクにファインチューニングすることが一般的であり，これらのモデルは数千万文以上からなる大規模なデータセットや対訳コーパスを用いて事前学習を行うことで事前知識を得ることを可能にしている．本提案手法を用いることで大規模データセットで事前学習された大規模自然言語モデルを直接的に変更することなく，そのまま活用することが可能となり，数千文から数十万文程度と規模が小さい視覚情報付き対訳コーパスでも事前学習による精度の向上を期待することができる．提案手法を用いることで翻訳精度が向上することを明らかにするため，VISAデータセット[9]を用いた実験を行った.実験の結果，多義語を含むデータ.セット(Polysemy)において動画説明文を用いた場合には，翻訳精度が改善する結果を得られた.