高精度翻訳モデルのための自動評価手法の検討

Taskでは、mT5を基盤とするMetricX系列[9]が上ニューラル機械翻訳および大規模言語モデル位の性能を示す。また、LLMを評価者として用い(LLM)の発展により、機械翻訳の品質は人間の翻訳るLLM-as-a-judgeにおいても、Kocmiら[10]はGPTに迫る水準に達しつつある。一方で、高精度なシス系モデルを用いたGEMBAにより最先端指標と同等テム同士を比較する場面では、従来の自動評価指標以上の相関を報告している。しかし、これらは大規では性能差を十分に識別できない[1,2]。したがっ模なモデルの推論を必要とし、プロンプトやモデルて、高精度領域での差分を捉えられる評価手法の整更新に起因する再現性の問題もあるため、日常的な備が不可欠である。ベンチマークの基盤とするには課題が残る。翻訳品質の最終的な信頼基準として、人手評価近年のLLMは、高品質な翻訳候補の大量生成やは依然重要である。MultidimensionalQualityMetrics候補間の相対的な優劣判断に優れている[10]ため、その能力を効果的に活用するようなパイプラインを∗Equalcontribution構築することで「多数の高品質参照訳」や「高精度Fullpaper:https://jxiv.jst.go.jp/index.php/jxiv/preprint/view/2428だがコストの高い基準」を半自動的に構築することorg/licenses/by/4.0/).の現実性が高まりつつある。多数の参照訳が利用可能であれば、軽量な表層マッチング指標であっても言い換えの多様性を吸収し、高精度翻訳モデル間の微小な差分を識別できる可能性がある。このような枠組みは、高コストな人手評価やモデルベース指標と、軽量で再現性の高い表層マッチング指標との間を橋渡しすることが期待される。本研究では、以上を踏まえ、高精度な翻訳モデル同士の性能差を、軽量かつ再現性の高い表層マッチング型自動評価により識別することを目指す。