高精度翻訳モデルのための自動評価手法の検討

組みは、訳抜けや誤訳などの客観的な誤り検出に優機械翻訳システムの品質向上に伴い、高精度なモれる。しかし、大規模なMQM評価の分析からは、デルにおいて、モデル間の性能差を識別することが評価者間・評価方針間のばらつきや文脈を考慮した難しくなっている。そこで、本研究では、高精度な評価の難しさが報告されており[1]、人手評価は高モデルに対しても十分な分解能を持ち、再現性と計コストでスケーラブルでなく、「良い翻訳」を一意算効率に優れる表層マッチング型評価手法を検討に定めることにも限界がある。する。まず、英和・和英それぞれ約150語程度の原コストと再現性の観点からは、参照訳との表層的文50件に対し、評価対象のモデルによって生成さ一致に基づく自動評価指標が広く用いられてきた。れた翻訳文群を作成した。このデータセットを評価BLEU[4]は単語𝑛-gramの一致度と長さに基づく古軸として、新たな表層マッチング指標について検討典的指標であり、chrF[5]は文字𝑛-gramに基づき分した。提案指標は、言語非依存性のため文字𝑛-gramかち書きされない言語にも比較的頑健とされる。し特徴量を用い、言い換えの多様性を吸収するため多かし、これらは局所的な𝑛-gram一致に依存するた数の参照訳を活用する。最大1,000件の生成参照訳め、言い換えや語順の自由度を十分に扱えず、高精を用いた評価では、参照訳の数の増加に伴い提案指度システム同士の差分を正確に反映できないことが標は一貫して性能向上を示し、BLEUおよびchrFを示されている[6,2]。さらに、参照訳の品質と数量上回った。また、LLMを活用しつつ人手で作成しが指標性能に大きく影響し、高品質な参照を多数用た高品質参照訳を用いた実験では、提案指標を含む意できれば性能を改善できる一方、人手のみでの構表層マッチング指標が、WMT24で上位の指標であ築はコスト面で困難である[6,7]。るMetricX-24より高い順位相関を示した。これらの高精度な意味的評価を実現するため、評価に事結果から、表層マッチングに基づく軽量かつ安定し前学習言語モデルを用いるモデルベース指標も広た自動評価が可能であることが示唆された。く研究されている。COMET[8]は原文・参照訳・候補訳を入力とする評価モデルを学習し、人手評価との高い相関を達成している。WMTMetricsShared