LLMは優れた言語理解能力と文章生成能力を示し，最近は文生成タスクの自動評価手法（LLM評価器;LLM-as-a-Judge\cite{NEURIPS2023_91f18a12}）としても活用されている\cite{liu2023geval,fu2023gptscore,kocmi-federmann-2023-large,chiang-lee-2023-large}．例えば，評価対象の文章の尤度をLLMに計算させ，評価スコアとして使用する方法\cite{fu2023gptscore,yuan2021bartscore}や，LLMに文章の評価スコアを直接出力させる方法\cite{liu2023geval,kocmi-federmann-2023-large}が提案されている．BLEU\cite{papineni-etal-2002-bleu}やROUGE\cite{lin-2004-rouge}などの従来の自動評価手法と比べ，LLMによる自動評価は多くのタスクで人間の評価とより高い相関を示すことが報告されている．LLMの学習は膨大な事前学習データ\cite{NEURIPS2020_1457c0d6,openai2023gpt4}と指示学習データ\cite{wei2022finetuned,NEURIPS2022_b1efde53}の尤度最大化であり，文章生成も尤度に基づいている．ゆえに，尤度を直接的に評価スコアとする方法だけではなく，評価スコアを生成させる方法においても，評価対象の文章の尤度が評価結果に影響を与えると考えられる．ところが，LLMが計算する尤度は文章の流暢性や文法性，事実性などの良し悪しを捉えているとは限らない．例えば，ある文章の語順や構造を変更して言い換えると，LLMの尤度が変動することが報告されている\cite{kuribayashi-etal-2020-language}．この場合，文章の意味に関する評価を行う際に，尤度の変動がLLMの評価結果に悪影響を及ぼしうる．言い換えると，LLMの尤度と文章の良し悪しのずれが，さまざまな評価項目で評価バイアスを引き起こしている可能性がある．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%Fig1\begin{figure}[t]\begin{center}\includegraphics{32-2ia3f01.eps}\end{center}\hangcaption{尤度バイアスの例．人間の採点であれば同じスコアをつけられるべき出力のうち，尤度の低い出力（上側）が尤度の高い出力（下側）よりも不当に低く評価されていることを表す．}\label{fig:bias_image}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%本研究では，LLMが文章の評価スコアを出力する際，尤度の低い文章を（人間の評価よりも）不当に低く評価し，尤度の高い文章を不当に高く評価するという評価バイアスの存在を仮定し，これを\textbf{尤度バイアス}と呼ぶ．尤度バイアスの例を図~\ref{fig:bias_image}に示す．この図ではデータから文を生成するタスク(data-to-text)をdatacoverage（データの情報を出力がカバーしているか）という評価項目に基づいて採点する際に，人間の採点であれば同スコアになる出力のうち，尤度の低い出力（上側）が尤度の高い出力（下側）よりもLLMによって不当に低く評価されていることを表す．この問題に対処するため，我々は尤度バイアスを(1)定量的に測定し，(2)緩和する手法を提案する．本研究はLLM評価器における評価時のバイアスを緩和する初めての試みである．まず，LLMの尤度と，LLMと人手評価のスコアの差の相関に着目し，尤度バイアスの定量的な測定を行う．次に，訓練データから尤度バイアスの強い事例（タスクの入出力のペア）を特定し，それらの事例に人手評価スコアを付与し，Few-shot事例としてLLM評価器に与えることで，評価時の尤度バイアスを緩和する．尤度バイアスの大きさは評価に用いる評価項目によって変化することが予想される．例えば，datacoverageのような出力の尤度と関係が浅いと考えられる項目に対しては，尤度バイアスはより大きくなる可能性がある．逆に，fluency（出力か流暢かどうか）のような出力の尤度と関係が深いと考えられる項目に対しては，尤度バイアスは小さくなる可能性がある．このような評価項目と尤度バイアスの関係を検証するために，本研究ではdata-to-textと文法誤り訂正(GrammaticalErrorCorrection;GEC)の2つのタスクを使用する．これらのタスクを選んだ理由は，他タスクにおける既存の評価データセット\cite{freitag-etal-2021-experts,guan-etal-2021-openmeva,kamalloo-etal-2023-evaluating}と異なり，この2タスクにおける評価データセット\cite{castro-ferreira-etal-2020-2020,yoshimura-etal-2020-reference}はfluency,grammar,datacoverageのような複数の評価項目における人間が付与した評価結果を含んでいるからである．実験の結果，GPT-3.5\footnote{\url{https://platform.openai.com/docs/models#gpt-3-5-turbo}}とLlama213B\cite{touvron2023llama}の2つのLLMがdata-to-textとGECの2つのタスクにおいて尤度バイアスを持つ可能性を示した．さらに，バイアス緩和手法によりほとんどのモデル・タスクにおいてLLMの尤度バイアスが緩和され，評価性能（人手評価スコアとの順位相関係数）も向上することが分かった．Data-to-textにおいては有意なバイアスの緩和と評価性能の向上が確認され，GECにおいてはその傾向が確認された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%