テキスト生成の自動評価はタスクの精度を向上させる上で欠かせないものである。本研究では、Decoderベースの言語モデルの大規模化が進む動向を踏まえ、それらに基づくテキスト生成の自動評価指標を提案する。翻訳評価と意味的類似度計算の2種類の日本語のタスクで実験を行い、Encoderベースの言語モデルと比較して、同等かそれ以上の精度を出すことが可能であることを示す。

ニューラルネットワークによるテキスト生成モデルは機械翻訳、対話システム、文章要約など、様々なタスクで用いられる。しかし、モデルからの出力はオープンエンドであり、正解も1つとは限らないため、生成結果の評価は難しい。人手による評価は精度が高く、よく用いられるが、時間的、金銭的コストが高いという問題がある。そのため、テキスト生成モデルを迅速に開発するためには自動評価が必要不可欠となる。テキスト生成の自動評価手法として、かつてはBLEU[1]やROUGE[2]などのような、生成テキストと正解とされるテキストとの間の表層的な単語の重複による評価が主流であった。近年では、BERT[3]やBART[4]などの自己教師有り学習モデルの発展に伴い、それらを活用したより精度の高い自動評価手法が提案されている[5,6,7,8,9,10]。これらの手法では主にTransformer[11]アーキテクチャのEncoderベースのモデルやEncoder-Decoderベースのモデルが用いられるが、Decoderベースのモデルを利用した手法の研究はなされていない。しかしながら、自己教師有り学習モデルはDecoderベースのモデルの大規模化が顕著であり、GPT3[12]、Megatron-Turing[13]、PaLM[14]などが開発されている。以降、TransformerのDecoderベースの自己教師有り学習された大規模言語モデルをLLMと呼ぶ。一方で、EncoderベースのモデルはDecoderベースのモデルと比較するとそこまで大規模化が進んでいない。これらを踏まえ、本論文ではLLMを用いたテキスト生成の自動評価手法を提案する。翻訳評価と意味的類似度計算(SemanticTextualSimilarity,STS)の2種類の日本語のタスクで実験を行い、既存のテキスト生成自動評価手法と同等かそれ以上の精度を出すことが可能であることを示す。LLMを3種類のTuning手法でそれぞれ学習し、Fine-Tuningよりも低コストな学習手法であるLoRA-Tuning[15]において最も高い精度を出すことが可能であることを示す。また、本手法ではテキストの埋め込みも得られるため、テキスト間の意味的比較なども可能であり、応用範囲が広い。