マルチモーダル機械翻訳における画像・入力文間類似度と翻訳品質の相関の分析

近年，機械翻訳(MT)において，テキストだけでなく画像情報を利用して翻訳品質を改善するマルチモーダル機械翻訳(MMT)が注目されている．MTモデルが曖昧性のある文を翻訳する際に，文脈だけでは情報が不足する場合があるという背景から，MMTでは，画像情報を追加入力することで入力文の文脈情報を補完し，より正確な翻訳を行う．システムレベルの評価ではMMTモデルの画像情報の貢献はわずかのため，その有効性は議論されている[1,2,3]．一方，事例レベルでの画像情報の貢献は，参照文と出力文の比較によって定性的に評価されており，入力を用いた定量的な分析は行われていない．入力のみを用いた事例レベルの自動評価が可能になることにより，分析対象となる事例選択の効率化やMMTモデルの評価に適したデータ作成を実現することができる．本研究では，画像情報が有効な事例の自動評価を画像・入力文間類似度（計算方法は3節を参照）は，上の事例が0.292，下の事例が0.388である．上の事例では，“takeshots”の「写真を撮る/ショットグラスを取る」という入力文の曖昧性を，画像情報により解消している．下の事例では，画像情報の有無に関わらず翻訳は正しい．目的として，定量的に翻訳品質を分析する．MMTでは文脈情報の不足を画像で補完することから，有効な事例の画像には入力文にない情報が含まれており，その情報量の差分によって画像・入力文間類似度が低くなると考えられる．そこで，「画像情報が有効な事例では，画像・入力文間の類似度が低くなる」という仮説に基づき，英日翻訳の品質を分析した．仮説の概要を図1に示す．実験では，画像・入力文間類似度，画像情報の貢献度の計算を行い，それらの相関を確認することで仮説を検証する．実験の結果より，MMTモデルで翻訳品質が改善する事例において，画像・入力文間類似度は画像情報の有効性と負の相関があることを確認した．また，画像・入力文間類似度が低い事例では，画像情報の入力がノイズになりうることを確認した．.