日英翻訳を対象としたイディオム表現の評価指標の提案

Transformer[1]などのニューラル機械翻訳（NMT）システムにとって，複合語表現（MWE）の翻訳は現状の課題の一つである．MWEの中でも，イディオム表現は非構成的な意味を持ち，構成される単語からは意味を推測できない場合が多い表現である．NMTシステムは翻訳対象となる文章の意味が構成的であることを前提として翻訳を行うため，イディオム表現を文字通りに解釈する傾向にある．その結果，イディオム表現を直訳もしくは省略する翻訳エラーが多々発生する．また，イディオム表現の翻訳の評価に適した自動評価指標が存在しないことも課題の一つとして挙げられる．BLEU[2]を始めとするグローバル評価指標は，翻訳文の全体を考慮するものであり，局所的な評価ができないため，イディオム表現の翻訳性能の評価には適さない．イディオム表現の翻訳結果を自動的かつ定量的に評価するには，既存のグローバル評価指標とは別に，翻訳文の特定の箇所に絞った専用の評価指標が必要とされる．イディオム表現に対する自動評価指標の先行研究として，Shaoら[3]は英語と中国語のペアを対象に，イディオム表現を直訳した際に生じるであろう単語を登録したリストを活用する方法を提案した．具体的には，翻訳モデルが出力した翻訳文のうち，このリストに登録された単語を含むものの割合を評価スコアとしている．しかし，この手法には，対応する単語を逐一手動でリストに登録しなければならないという欠点が存在する．本研究では，日英翻訳を対象とした，イディオム表現の翻訳性能を評価するための新たな自動評価指標を提案する．具体的には，イディオム検出器によって出力訳のイディオム表現を自動的に抽出し，出力訳と参照訳に含まれるイディオム表現の割合の類似度で翻訳モデルを評価する．イディオム検出器の構築，並びに既存の翻訳モデルでの日英翻訳に対する評価実験の結果，BLEUとBERTScoreのスコアが最大である翻訳モデルと，提案手法での評価スコアが最大である翻訳モデルが異なると判明した．この結果は，BLUEやBERTScoreといったグローバル自動評価指標では，機械翻訳の出力訳に含まれるイディオム表現を正しく認識できないことを示していると言える．