本研究では，画像・入力文間類似度が低い事例がマルチモーダル機械翻訳(MMT)に及ぼす影響を調査する．MMTでは，画像情報による入力文の曖昧性解消で，翻訳品質の改善を図る．先行研究ではシステムレベルでの翻訳品質改善は限定的であると報告されているが，画像情報の貢献度について事例レベルでの定量的な分析は行われていない．そこで本研究では，画像情報が有効な事例の自動識別を目的に分析を行う．画像・入力文間類似度が低い事例は画像情報が入力文を補完し，翻訳品質が改善することが期待できる．その仮説の下，画像・入力文間類似度と画像情報の貢献度の相関を分析し，MMTで翻訳品質が改善する事例で，負の相関を確認した．

近年，機械翻訳(MT)において，テキストだけでなく画像情報を利用して翻訳品質を改善するマルチモーダル機械翻訳(MMT)が注目されている．MTモデルが曖昧性のある文を翻訳する際に，文脈だけでは情報が不足する場合があるという背景から，MMTでは，画像情報を追加入力することで入力文の文脈情報を補完し，より正確な翻訳を行う．システムレベルの評価ではMMTモデルの画像情報の貢献はわずかのため，その有効性は議論されている[1,2,3]．一方，事例レベルでの画像情報の貢献は，参照文と出力文の比較によって定性的に評価されており，入力を用いた定量的な分析は行われていない．入力のみを用いた事例レベルの自動評価が可能になることにより，分析対象となる事例選択の効率化やMMTモデルの評価に適したデータ作成を実現することができる．本研究では，画像情報が有効な事例の自動評価を画像・入力文間類似度（計算方法は3節を参照）は，上の事例が0.292，下の事例が0.388である．上の事例では，“takeshots”の「写真を撮る/ショットグラスを取る」という入力文の曖昧性を，画像情報により解消している．下の事例では，画像情報の有無に関わらず翻訳は正しい．目的として，定量的に翻訳品質を分析する．MMTでは文脈情報の不足を画像で補完することから，有効な事例の画像には入力文にない情報が含まれており，その情報量の差分によって画像・入力文間類似度が低くなると考えられる．そこで，「画像情報が有効な事例では，画像・入力文間の類似度が低くなる」という仮説に基づき，英日翻訳の品質を分析した．仮説の概要を図1に示す．実験では，画像・入力文間類似度，画像情報の貢献度の計算を行い，それらの相関を確認することで仮説を検証する．実験の結果より，MMTモデルで翻訳品質が改善する事例において，画像・入力文間類似度は画像情報の有効性と負の相関があることを確認した．また，画像・入力文間類似度が低い事例では，画像情報の入力がノイズになりうることを確認した．.