マルチモーダル機械翻訳における画像・入力文間類似度と翻訳品質の相関の分析

本研究では，画像・入力文間類似度が低い事例がマルチモーダル機械翻訳(MMT)に及ぼす影響を調査する．MMTでは，画像情報による入力文の曖昧性解消で，翻訳品質の改善を図る．先行研究ではシステムレベルでの翻訳品質改善は限定的であると報告されているが，画像情報の貢献度について事例レベルでの定量的な分析は行われていない．そこで本研究では，画像情報が有効な事例の自動識別を目的に分析を行う．画像・入力文間類似度が低い事例は画像情報が入力文を補完し，翻訳品質が改善することが期待できる．その仮説の下，画像・入力文間類似度と画像情報の貢献度の相関を分析し，MMTで翻訳品質が改善する事例で，負の相関を確認した．