組みは、訳抜けや誤訳などの客観的な誤り検出に優機械翻訳システムの品質向上に伴い、高精度なモれる。しかし、大規模なMQM評価の分析からは、デルにおいて、モデル間の性能差を識別することが評価者間・評価方針間のばらつきや文脈を考慮した難しくなっている。そこで、本研究では、高精度な評価の難しさが報告されており[1]、人手評価は高モデルに対しても十分な分解能を持ち、再現性と計コストでスケーラブルでなく、「良い翻訳」を一意算効率に優れる表層マッチング型評価手法を検討に定めることにも限界がある。する。まず、英和・和英それぞれ約150語程度の原コストと再現性の観点からは、参照訳との表層的文50件に対し、評価対象のモデルによって生成さ一致に基づく自動評価指標が広く用いられてきた。れた翻訳文群を作成した。このデータセットを評価BLEU[4]は単語𝑛-gramの一致度と長さに基づく古軸として、新たな表層マッチング指標について検討典的指標であり、chrF[5]は文字𝑛-gramに基づき分した。提案指標は、言語非依存性のため文字𝑛-gramかち書きされない言語にも比較的頑健とされる。し特徴量を用い、言い換えの多様性を吸収するため多かし、これらは局所的な𝑛-gram一致に依存するた数の参照訳を活用する。最大1,000件の生成参照訳め、言い換えや語順の自由度を十分に扱えず、高精を用いた評価では、参照訳の数の増加に伴い提案指度システム同士の差分を正確に反映できないことが標は一貫して性能向上を示し、BLEUおよびchrFを示されている[6,2]。さらに、参照訳の品質と数量上回った。また、LLMを活用しつつ人手で作成しが指標性能に大きく影響し、高品質な参照を多数用た高品質参照訳を用いた実験では、提案指標を含む意できれば性能を改善できる一方、人手のみでの構表層マッチング指標が、WMT24で上位の指標であ築はコスト面で困難である[6,7]。るMetricX-24より高い順位相関を示した。これらの高精度な意味的評価を実現するため、評価に事結果から、表層マッチングに基づく軽量かつ安定し前学習言語モデルを用いるモデルベース指標も広た自動評価が可能であることが示唆された。く研究されている。COMET[8]は原文・参照訳・候補訳を入力とする評価モデルを学習し、人手評価との高い相関を達成している。WMTMetricsShared

Taskでは、mT5を基盤とするMetricX系列[9]が上ニューラル機械翻訳および大規模言語モデル位の性能を示す。また、LLMを評価者として用い(LLM)の発展により、機械翻訳の品質は人間の翻訳るLLM-as-a-judgeにおいても、Kocmiら[10]はGPTに迫る水準に達しつつある。一方で、高精度なシス系モデルを用いたGEMBAにより最先端指標と同等テム同士を比較する場面では、従来の自動評価指標以上の相関を報告している。しかし、これらは大規では性能差を十分に識別できない[1,2]。したがっ模なモデルの推論を必要とし、プロンプトやモデルて、高精度領域での差分を捉えられる評価手法の整更新に起因する再現性の問題もあるため、日常的な備が不可欠である。ベンチマークの基盤とするには課題が残る。翻訳品質の最終的な信頼基準として、人手評価近年のLLMは、高品質な翻訳候補の大量生成やは依然重要である。MultidimensionalQualityMetrics候補間の相対的な優劣判断に優れている[10]ため、その能力を効果的に活用するようなパイプラインを∗Equalcontribution構築することで「多数の高品質参照訳」や「高精度Fullpaper:https://jxiv.jst.go.jp/index.php/jxiv/preprint/view/2428だがコストの高い基準」を半自動的に構築することorg/licenses/by/4.0/).の現実性が高まりつつある。多数の参照訳が利用可能であれば、軽量な表層マッチング指標であっても言い換えの多様性を吸収し、高精度翻訳モデル間の微小な差分を識別できる可能性がある。このような枠組みは、高コストな人手評価やモデルベース指標と、軽量で再現性の高い表層マッチング指標との間を橋渡しすることが期待される。本研究では、以上を踏まえ、高精度な翻訳モデル同士の性能差を、軽量かつ再現性の高い表層マッチング型自動評価により識別することを目指す。