本論文では、視覚翻訳言語モデル（VisualTrans-lationLanguageModel;VTLM）が英日マルチモーダル機械翻訳に適応できるかどうかを検証する。事前学習にはConceptualCaptions、マルチモーダル機械翻訳にはFlickr30KEntitiesおよびFlickr30KEntitiesJPを使用した。実験の結果、VTLMで事前学習を行うことで、BLEUでおよそ3ポイントの改善を達成した。一方で、機械翻訳の訓練事例が豊富な場合には、事前学習を行わないモデルと同程度の性能にとどまった。分析の結果、事前学習で獲得したサブワード分割器が機械翻訳の訓練事例を適切に分割できない例があることが判明した。コードおよび事前学習済みのモデルはhttps://github.com/toshohirasawa/VTLMEnJaで公開している。

マルチモーダル機械翻訳（Multimodalmachinetranslation;MMT）では、翻訳文を生成する際に原文だけではなく、画像などの原文に紐付けられた非言語情報を用いる。画像や動画を持つマルチモーダル対訳コーパスのリリースにより、様々なマルチモーダル機械翻訳モデルが提案されている。自然言語処理では近年、自己教師あり学習を用いて大規模な単言語コーパスで訓練されたニューラル言語モデルを様々なタスクに応用する研究が盛んに行われており、ニューラル言語モデルが獲得した言語や常識の知識が、各々のタスクに有用であることが示されてきた。機械翻訳でも言語モデルの利用が盛んに研究されており、翻訳品質の向上に有用であることが示されている[1,2]。また、対訳コーパスを用いた言語モデルの改善手法も提案されている。多言語の対訳コーパスを使用して訓練された翻訳言語モデル（TranslationLanguageModeling;TLM）は、分類モデルや機械翻訳モデルの精度を向上させることが報告されている[3]。TLMをマルチモーダルな入力を取るように拡張させた視覚翻訳言語モデル（VisualTranslationLanguageModeling）は、画像を用いる英独・英仏翻訳で翻訳品質を向上させている[4]。本研究ではVTLMが英日マルチモーダル翻訳でも適用可能かどうかを検証する。VTLMの事前学習には画像・説明文のデータセットであるConceptualCaptions[5]に、オンライン自動翻訳サービスで翻訳文を付与した疑似マルチモーダル対訳コーパスを、マルチモーダル機械翻訳には画像つき英日対訳コーパスであるFlickr30KEntitiesJP[6]を用いた。実験の結果は大規模な疑似マルチモーダル対訳コーパスで事前学習したVTLMが、英日マルチモーダル機械翻訳に有用であることを示した。一方で、機械翻訳タスクの訓練事例が増えると、事前学習を行わなず機械翻訳タスクに特化した機械翻訳モデルと同程度にとどまった。分析の結果、事前学習で獲得したサブワード分割器が必ずしも機械翻訳の訓練事例を適切に分割できているわけではないことが分かった。