潜在拡散モデルによる変換画像を用いるマルチモーダルニューラル機械翻訳

本研究では，潜在拡散モデルによる画像変換で生成した擬似画像を用いる新しいマルチモーダルニューラル機械翻訳（MNMT）を提案する．MNMTは，原言語文と関連画像に基づき翻訳を行うが，関連画像は必ずしも原言語文の内容のみを表しているわけではなく，関連画像内には原言語文とは無関係な箇所も存在する場合が多い．そのため，関連画像は翻訳の補助情報として最適とは限らない．そこで提案手法では，原言語文に基づき関連画像を潜在拡散モデルで画像変換することで，原言語文の内容に沿った疑似画像を生成し，生成した疑似画像を用いて翻訳を行う．Multi30kデータセットを用いた英独翻訳実験を行い，提案手法の有効性を確認した．