単語単位で評価が可能な機械翻訳向け自動評価

機械翻訳の自動評価として広く用いられているBLEU[1]やCOMET[2]などは、文単位で評価スコアを算出するように設計されている。しかし、文単位の評価は文内部の誤り箇所や誤り度合いを明示できないという欠点がある。そこで本研究では、文単位よりも細かい、単語単位で誤り評価が行われた人手評価データを使用して、単語単位での評価を行い、その評価結果を基に文単位での評価スコアを算出する自動評価モデルを提案する。2021年のWMTmetricsタスクによる実験において、提案手法は、従来の文単位でのみ評価を行うモデルと同等もしくは言語対によっては上回る人手評価との相関が得られた。