日英翻訳を対象としたイディオム表現の評価指標の提案

ニューラル機械翻訳（NMT）の課題の一つして，イディオムなどの非構成的な表現の翻訳が挙げられる．NMTシステムは原文を単語単位で解釈して翻訳するため，非構成的な意味を有するイディオム表現に対しては誤訳が度々生じる．また，既存の自動評価指標は局所的な評価ができず，イディオム表現の翻訳性能の評価には適さないという問題点がある．本研究では，日本語と英語を対象に，イディオム表現の翻訳性能の評価に適した新たな自動評価指標を提案する．具体的には，目的言語側でイディオム表現を検出し，その個数と原言語側のイディオム表現の個数とを比較して，翻訳モデルの性能を評価する．実験の結果，BLEUやBERTScoreでのスコアの高さと，全体の出力訳に含まれる正しいイディオム表現の割合は翻訳モデルによって傾向が異なることが判明した．