視覚翻訳言語モデルを用いた英日マルチモーダル機械翻訳

本論文では、視覚翻訳言語モデル（VisualTrans-lationLanguageModel;VTLM）が英日マルチモーダル機械翻訳に適応できるかどうかを検証する。事前学習にはConceptualCaptions、マルチモーダル機械翻訳にはFlickr30KEntitiesおよびFlickr30KEntitiesJPを使用した。実験の結果、VTLMで事前学習を行うことで、BLEUでおよそ3ポイントの改善を達成した。一方で、機械翻訳の訓練事例が豊富な場合には、事前学習を行わないモデルと同程度の性能にとどまった。分析の結果、事前学習で獲得したサブワード分割器が機械翻訳の訓練事例を適切に分割できない例があることが判明した。コードおよび事前学習済みのモデルはhttps://github.com/toshohirasawa/VTLMEnJaで公開している。