機械翻訳の評価は、人手で行うとコストが高いため、機械を用いて自動で行えることが望ましい。自動評価の一つに、質問応答の技術を利用して、参照訳に対して生成した質問に、機械翻訳結果を文脈として用いて正しく回答できるかに着目する枠組みがある。本研究では、既存研究の精度の低い質問生成のステップを、GPT-3をfew-shot学習することで改善できることを示す。また、回答比較のステップも、既存研究では表層的な一致度のみ考慮していたが、GPT-3を用いて柔軟な比較を行うことで、人手評価との相関だけでなく、難しいとされている数字や日付の翻訳ミスの評価も向上することを示す。

機械翻訳の評価は、プロの翻訳家による人手評価が最も正確に行えるが、時間的、金銭的なコストの観点から機械によって自動で行えることが望ましい。人手の評価でも、機械による自動評価でも、与えられた参照訳との比較で評価するのが一般的である。計算コストの低さから、最も標準的に使われる自動評価手法は、BLEU[1]に代表される、参照訳と機械翻訳結果の表層的な一致度を測る手法である。これらの手法は、表層的には異なるが意味的には等しい場合を見逃してしまう。そこで近年は、BERT[2]等の大規模言語モデルによる分散表現を用いることで、表層によらず意味的な一致度を捉える自動評価手法が多く提案されている(BERTScore[3]、BLEURT[4]、COMET[5])。これらの手法は、プロの人手評価との相関が高いことが示されている[6,7,8]。一方、分散表現による評価手法は、埋め込み空間において近くに位置することが原因で、固有名詞や数字等の深刻な誤訳を見逃してしまうことが報告されている[7,9]。他方、機械による翻訳が原文の情報を十分に表現できているなら、参照訳に対する質問を生成した場る質問を生成、2.翻訳結果を文脈として用いて質問に回答、3.参照訳での正解と翻訳結果の回答を比較。合に、翻訳結果を文脈として用いても正しく回答できるはずである。この仮説に基づいて、質問応答の技術を用いて機械翻訳を評価するMTEQA(MachineTranslationEvaluationwithQuestionAnswering)[10]が提案されている。図1に評価過程を示す。まず参照訳内の重要な情報について質問と正解を生成し、それらに機械翻訳結果を文脈として用いてQAモデルに回答させ、最後に参照訳からの正解と翻訳結果からの回答を比較することで評価する。この手法の利点としては、評価手順で使われた質問、正解、回答を実際に見ることで、なぜその評価値になったかを容易に知ることができる解釈性を持つ。しかし既存研究において、ある程度の人手評価との相関は示されていたが、質問生成の質が低く、回答比較の部分も表層一致しか着目できていない。そこで本研究では、質問生成の部分を正解の抽出を含めてGPT-3[11]で行うことで、適切な質問の割合が増え、人手評価との相関が向上することを示す。さらに、回答比較の部分もGPT-3を用いて、意味を考慮して柔軟に比較する(例:“15”に対して“ﬁfteen”を正解にする)ことで人手評価との相関だけでなく、上で挙げた分散表現による評価手法が苦手とする誤訳への評価性能も向上することを示す。.内の具体例。Context:Theleaguenarrowedthebidstothreesites:NewOrleans’Mercedes-BenzSuperdome,Miami’sSunLifeStadium,andtheSanFranciscoBayArea’sLevi’sStadium.Q&A:Answer:Levi’sStadiumQuestion:WhatislocatedintheSanFranciscoBayArea?Answer:NewOrleansQuestion:WhereisMercedes-BenzSuperdomelocated?Answer:...