大規模言語モデルの文生成確率を用いた教師なし品質推定

機械翻訳やテキスト平易化などの言語生成タスクでは，出力文の品質を自動評価するために多くの評価指標が提案されてきた．研究開発の現場における生成文の自動評価は，BLEU[1]やSARI[2]，COMET[3]など，参照文との表層的または意味的な類似度に基づく評価が主流である．しかし，実際にユーザが言語生成システムを使用する際には，参照文を用意できない場合が多く，これらの参照あり自動評価を用いることは困難である．このような背景から，参照文を用いずに生成文の品質を自動評価する品質推定[4]の研究が盛んに取り組まれている．品質推定(QE:QualityEstimation)は主に機械翻訳を対象に研究されてきた．機械翻訳に関する国際会議WMTの品質推定コンペティションでは，これまで多くの教師あり品質推定モデル[5,6]が提案されてきた．しかし，機械翻訳の教師あり品質推定モデルは「原言語文，目的言語文，人手評価値」の3つ組を用いて訓練するため，人手評価には原言語と目的言語の両方に精通したアノテータが必要であり，アノテーションコストが非常に高い．そのため，教師あり品質推定モデルの多くは，充分な量の訓練データを利用可能なタスクや言語でしか適用できない．この問題に対処するために，参照文や人手評価値を用いず，入出力の文対から出力文の品質を評価する教師なし品質推定が研究されている．教師なし品質推定の先行研究は，Encoderに基づく品質推定[7,8]，Encoder-Decoderに基づく品質推定[9,10]，Decoderに基づく品質推定[11]に大別できる．本研究では，大規模言語モデル(LLM:LargeLanguageModel)の文生成確率を用いたDecoderに基づく品質推定の手法を提案する．具体的には，入力文を含むタスクの指示（プロンプト）をLLMに入力し，forced-decodingによって計算した出力文の生成確率に基づき，品質スコアを推定する．WMT20QEタスク[12]における機械翻訳の品質推定に関する実験の結果，多資源言語対において教師なし品質推定の既存手法を上回る性能を達成した．また，他のタスクへの適応能力を検証するために，テキスト平易化タスクの品質推定[13]においても実験した結果，一部の教師あり手法を上回る性能を示した．