大規模言語モデルにおける評価バイアスの尤度に基づく緩和

LLMは優れた言語理解能力と文章生成能力を示し、最近は文生成タスクの自動評価手法としても活用されている[1,2,3,4]。例えば、評価対象の文章の尤度をLLMに計算させ、評価スコアとして使用する方法[2,5]や、LLMに文章の評価スコアを直接出力させる方法[1,3]が提案されている。BLEU[6]やROUGE[7]などの従来の自動評価手法と比べ、LLMによる自動評価は多くのタスクで人間の評価とより高い相関を示すことが報告されている。LLMの学習は膨大な事前学習データ[8,9]と指示学習データ[10,11]の尤度最大化であり、文章生成も尤度に基づいている。ゆえに、尤度を直接的に評価スコアとする方法だけではなく、評価スコアを生成させる方法においても、評価対象の文章の尤度が評価結果に影響を与えると考えられる。ところが、LLMが計算する尤度は文章の流暢性や文法性、意味などの良し悪しを捉えているとは限らない。例えば、ある文章の語順や構造を変更して言い換えると、LLMの尤度が変動することが報告さスコアをつけられるべき出力のうち、尤度の低い出力（上側）が尤度の高い出力（下側）よりも不当に低く評価されていることを表す。れている[12]。この場合、文章の意味に関する評価を行う際に、尤度の変動がLLMの評価結果に悪影響を及ぼしうる。言い換えると、LLMの尤度と文章の良し悪しのずれが、さまざまな評価項目で評価バイアスを引き起こしている可能性がある。本研究では、LLMが文章の評価スコアを出力する際、尤度の低い文章を（人間の評価よりも）不当に低く評価し、尤度の高い文章を不当に高く評価するという評価バイアスの存在を仮定し、これを尤度バイアスと呼ぶ。尤度バイアスの例を図1に示す。この図ではデータから文を生成するタスク（data-to-text）において、人間の採点であれば同スコアになる出力のうち、尤度の低い出力（上側）が尤度の高い出力（下側）よりも不当に低く評価されていることを表す。この問題に対処するため、我々は尤度バイアスを(1)定量的に測定し、(2)緩和する手法を提案する。本研究はLLM評価器における評価時のバイアスを緩和する初めての試みである。まず、LLMの尤度と、LLMと人手評価のスコアの差の相関に着目し、尤度バイアスの定量的な測定を行う。実験の結果、GPT-3.5とLlama213B[13]の2つのLLMがdata-to-textと文法誤り訂正タスク(GEC)の2つのタスクにおいて尤度バイアスを持つ可能性を示した。.次に、訓練データから尤度バイアスの強い事例（タスクの入出力のペア）を特定し、それらの事例に人手評価スコアを付与し、Few-shot事例としてLLM評価器に与えることで、評価時の尤度バイアスを緩和する。提案手法により、ほとんどのモデル・タスクにおいてLLMの尤度バイアスが緩和され、評価性能（人手評価スコアとの順位相関係数）も向上することが分かった。