ニューラル機械翻訳（NMT）の課題の一つして，イディオムなどの非構成的な表現の翻訳が挙げられる．NMTシステムは原文を単語単位で解釈して翻訳するため，非構成的な意味を有するイディオム表現に対しては誤訳が度々生じる．また，既存の自動評価指標は局所的な評価ができず，イディオム表現の翻訳性能の評価には適さないという問題点がある．本研究では，日本語と英語を対象に，イディオム表現の翻訳性能の評価に適した新たな自動評価指標を提案する．具体的には，目的言語側でイディオム表現を検出し，その個数と原言語側のイディオム表現の個数とを比較して，翻訳モデルの性能を評価する．実験の結果，BLEUやBERTScoreでのスコアの高さと，全体の出力訳に含まれる正しいイディオム表現の割合は翻訳モデルによって傾向が異なることが判明した．

Transformer[1]などのニューラル機械翻訳（NMT）システムにとって，複合語表現（MWE）の翻訳は現状の課題の一つである．MWEの中でも，イディオム表現は非構成的な意味を持ち，構成される単語からは意味を推測できない場合が多い表現である．NMTシステムは翻訳対象となる文章の意味が構成的であることを前提として翻訳を行うため，イディオム表現を文字通りに解釈する傾向にある．その結果，イディオム表現を直訳もしくは省略する翻訳エラーが多々発生する．また，イディオム表現の翻訳の評価に適した自動評価指標が存在しないことも課題の一つとして挙げられる．BLEU[2]を始めとするグローバル評価指標は，翻訳文の全体を考慮するものであり，局所的な評価ができないため，イディオム表現の翻訳性能の評価には適さない．イディオム表現の翻訳結果を自動的かつ定量的に評価するには，既存のグローバル評価指標とは別に，翻訳文の特定の箇所に絞った専用の評価指標が必要とされる．イディオム表現に対する自動評価指標の先行研究として，Shaoら[3]は英語と中国語のペアを対象に，イディオム表現を直訳した際に生じるであろう単語を登録したリストを活用する方法を提案した．具体的には，翻訳モデルが出力した翻訳文のうち，このリストに登録された単語を含むものの割合を評価スコアとしている．しかし，この手法には，対応する単語を逐一手動でリストに登録しなければならないという欠点が存在する．本研究では，日英翻訳を対象とした，イディオム表現の翻訳性能を評価するための新たな自動評価指標を提案する．具体的には，イディオム検出器によって出力訳のイディオム表現を自動的に抽出し，出力訳と参照訳に含まれるイディオム表現の割合の類似度で翻訳モデルを評価する．イディオム検出器の構築，並びに既存の翻訳モデルでの日英翻訳に対する評価実験の結果，BLEUとBERTScoreのスコアが最大である翻訳モデルと，提案手法での評価スコアが最大である翻訳モデルが異なると判明した．この結果は，BLUEやBERTScoreといったグローバル自動評価指標では，機械翻訳の出力訳に含まれるイディオム表現を正しく認識できないことを示していると言える．