潜在拡散モデルによる変換画像を用いるマルチモーダルニューラル機械翻訳

近年，機械翻訳の分野では，原言語文に加えて関連画像を翻訳に使用するMNMT[1]が注目されている．関連画像により，翻訳時の曖昧性を解消したり，テキスト情報だけでは捉えることが困難な情報を補完したりすることで，翻訳性能の改善が期待されている．MNMTでは，通常，画像キャプション生成のデータセットを多言語に拡張した原言語文と目的言語文，関連画像の3つ組データからなるデータセットを使用する．しかし，画像には様々な内容が含まれており，原言語文は関連画像が表す内容の一部になっている場合が多く，原言語文とは無関係な箇所が関連画像に存在する場合も多い．図1にMNMTの標準的なデータセットであるMulti30kデータセット[2]の実例を示す．図1のように，Multi30kでは一つの画像に内容の異なる複数の原言語文が関連づけられている．そして，例えば，原言語文2には関連画像に写っている家に関する内容が含まれていない．そのため，関連画像は翻訳の補助情報として最適とは限らない．そこで本研究では，潜在拡散モデルによる画像変換で生成した擬似画像を用いる新たなMNMTを提案する．具体的には，関連画像と原言語文を用いて潜在拡散モデルにより画像変換を行い，関連画像から原言語文とは無関係な内容を排除し，関連画像を原言語文に即した内容に変換する．そして，変換された擬似画像を関連画像として用いてMNMTモデルで翻訳を行う．このように原言語文の内容をより反映した関連画像を翻訳の補助情報をして用いることで翻訳の性能改善を試みる．提案手法の有効性を，Multi30k[2]とAmbiguousCOCO[3]を用いた英独翻訳タスクで検証した．その結果，提案手法により，Multi30kの教師データをそのまま用いる従来のMNMTと比較して，Multi30kTest2016とTest2017でそれぞれ0.14，AmbiguousCOCOで0.39，BLEUスコアが改善することを確認した．また，CLIPScore[4]を用いて関連画像と原言語文の類似度を算出した結果，提案手法で用いた関連画像の方が，変換前の関連画像よりも原言語文に即した画像であることを確認した．