機械翻訳の自動評価として広く用いられているBLEU[1]やCOMET[2]などは、文単位で評価スコアを算出するように設計されている。しかし、文単位の評価は文内部の誤り箇所や誤り度合いを明示できないという欠点がある。そこで本研究では、文単位よりも細かい、単語単位で誤り評価が行われた人手評価データを使用して、単語単位での評価を行い、その評価結果を基に文単位での評価スコアを算出する自動評価モデルを提案する。2021年のWMTmetricsタスクによる実験において、提案手法は、従来の文単位でのみ評価を行うモデルと同等もしくは言語対によっては上回る人手評価との相関が得られた。

自動評価には、(a)単語単位で誤り計算をした後に文単位の評価値を算出するモデルや、(b)人手評価を教師信号として文単位の評価値を直接学習するモデルがある。前者のモデル(a)として広く使用されているBLEU、BERTscore[3]は、単語の一致または一致度合いをそれぞれの単語で計算した後に、一致数や一致度合いの合計を文単位の評価値としている。しかし、これらのモデルは本質的に文中に含まれる単語数やトークン数、また機能語の数によって評価結果が変動してしまう問題がある。さらに、評価素性が字面の一致のみであることもあり、WMTのmetricsタスクにおいて(a)のようなモデルは(b)の自動評価モデルに比べて人手評価との相関が低い。後者のモデル(b)のBLEURT[4],COMETなどは、XLM(CrosslingualLanguageModel)[5][6]という大規模な事前学習済のtransformer[7]エンコーダを使用したモデルで、評価対象のシステム訳文・参照訳文・原言語文の三つを入力として、エンコーダを通して得た文ベクトルから文単位の人手評価と同じ評価値を予測するように学習をしている。そして、これらのモデルはWMTmetricsタスクの20-22年度で人手評価との高い相関を記録している。自動評価システムが文単位の評価性能を向上させていく一方で、人手評価は文単位から単語単位へと変容している。年々と機械翻訳システムの翻訳性能が向上している為、曖昧な文単位の評価から、より細かい評価が可能な単語単位の評価へと、WMTの人手評価が変更された。19年度まで文単位で人手評価を行うDA(DirectAssessment)[8]を採用していたが、20年度からはMQM(MultidimentionalQualityMetrics)[9]という単語単位で誤り度合いや誤りの種類を記述する評価手法となり、人手評価の信頼性が向上した。本研究は、こうした人手評価の変化を受けて、自動評価でもより細やかな評価を行えるように、単語単位でのエラーの有無、エラースコアを計算する。また同時に、文スコアに与える各単語の重要度を計算し、それらを基に文単位での評価値も算出するモデルを提案する。提案手法は単語単位での評価が可能な上に、実験の結果、文単位のみの評価手法(ベースライン)と、同程度の人手評価との相関、あるいは言語対によってはより高い相関値を得ることができた。