マルチモーダル機械翻訳(MMT)は,画像を用いた文脈補完によって単語の曖昧性を解消することを目的としている.しかし,既存MMTモデルによる品質改善は限定的で，その理由に評価ベンチマークの制限が挙げられる.既存MMT評価セットに含まれるほとんどの原文は明瞭であり,翻訳に画像を必要としないため,視覚情報の効果を正確に評価できない.そこで,本研究では正しい翻訳を行うために画像が必要な英日MMTのベンチマークを提案する.既存MMTモデルを本データセットで評価した結果,翻訳品質のわずかな向上が確認された.この結果から,既存MMTモデルは画像を必要とするシナリオにおいても画像を十分に活用できていないことがわかる.

自然言語処理とコンピュータビジョンの融合が注目を集めている.マルチモーダル機械翻訳（MMT）は,その融合の一分野であり,視覚情報を利用して翻訳品質を向上させることが提案されている.機械翻訳（MT）モデルが曖昧な文を翻訳する場合,文脈だけでは十分な情報が得られないことがある.そこでMMTはより正確な翻訳のために視覚情報を追加し入力文の文脈情報を補完する.しかし,既存のMMTシステムは,翻訳品質を効果的に向上できていない[1,2].このような結果の原因として,モデル構造,学習データ,評価データが考えられる.本研究では,評価データの質の影響に注目する.MMTの標準的なベンチマークは,Flickr30Kデータセット[3]から英語のキャプションをドイツ語[4],フランス語[5],チェコ語[2],日本語[6]に翻訳することで構築されている．英語のキャプションは画像を曖昧性なく詳細に記述しているため,正確な翻訳を生成するために視覚情報で補完する必要がないものがほとんどである[7].したがって,このようなベンチマークはMMTにおける語義曖昧性解消への画像の寄与を評価するのには適していない.より正確な評価に向けて,原文に語義曖昧性を明示的に挿入した評価データセットがいくつか存在する[8,9]．Futeralら[9]は,フランス語に翻訳した際に異なる表層となるような複数の語義を持つ英単語をもとに曖昧性解消指向のベンチマークを提案した.これらの研究はアルファベット言語が対象であり,文化的距離の遠い非アルファベット言語はあまり注目されていない.そこで我々は,画像が曖昧性解消の手がかりとなる場合のみを含む英日MMT評価セットを構築した.具体的には,WordNet[10]を用いて複数の語義を持つ英単語を抽出し,画像を与えることで語義が判別できる250ペアを手動で選択した.また,先行研究[9]に倣って複数の訳語候補があり得る語義曖昧性を含む文を作成し,その語義に対応する画像をImageNet[11]から収集した（図1）.また,既存のMMTモデルを我々のデータセットで評価し,語義曖昧性解消の能力を評価した.さらに,出力の定性的分析を行った.その結果,MMTシステムはテキストのみのシステムよりも翻訳品質が若干向上する程度であり,ほとんどの曖昧な単語を曖昧性解消して翻訳することはできなかった.この結果は,MMTシステムが画像を取り込むことができないのは,評価データによるものではなく,モデル構造や学習データによるものであることを示している..