質問応答を用いた翻訳評価におけるGPT-3の利用

機械翻訳の評価は、人手で行うとコストが高いため、機械を用いて自動で行えることが望ましい。自動評価の一つに、質問応答の技術を利用して、参照訳に対して生成した質問に、機械翻訳結果を文脈として用いて正しく回答できるかに着目する枠組みがある。本研究では、既存研究の精度の低い質問生成のステップを、GPT-3をfew-shot学習することで改善できることを示す。また、回答比較のステップも、既存研究では表層的な一致度のみ考慮していたが、GPT-3を用いて柔軟な比較を行うことで、人手評価との相関だけでなく、難しいとされている数字や日付の翻訳ミスの評価も向上することを示す。