LLMにおけるスコアリングバイアスの緩和

大規模言語モデル(LargeLanguageModel;LLM)は機械翻訳や要約といった様々な自然言語処理タスクで利用され，優れた性能を発揮している．LLMは流暢なテキストを生成する能力に長けているが，スコアリングのために数字を生成することを目的として使われることも多い．近年ではLLMを評価器として利用するLLMasaJudgeと呼ばれる活用も盛んに行われている．従来のテキスト生成の自動評価は，生成されたテキストと参照テキストの類似度を測る手法が主流であった．これに対し，LLMの評価器としての利用は，大量のサンプルに対して参照テキストを用意するための人的コストを軽減するだけでなく，参照テキストを用いた自動評価よりも適切な場合もあることが知られている[1,2]．この際，LLM評価器は生成テキストの品質をスコア(数字)として出力することが多い．しかしながら，LLMが生成するテキストには様々なバイアスがあることが知られている．LLMで数字を生成させるときにもバイアスの影響は無視できない．例えば，LLM評価器において，評価対象テキストの内容に依らず特定の数値に出力が偏ることが知られている[3,4]．本研究では，LLMが数字をスコアとして生成する際のバイアスを「スコアリングバイアス」と呼ぶ．スコアリングバイアスに関する研究は近年注目を集めている．Liらは，プロンプトに与える採点基準の順序をシャッフルしたり，参照解答をプロンプトに加えたりすることで，意図的にスコアリングバイアスを誘発し，既存モデルのスコアリングバイアスに対する頑健性を評価した[3]．Fujinumaは，スコア範囲を変動させるとLLM評価器の性能が変化する「スコア範囲バイアス」を指摘し，メインモデルとアシスタントモデルと呼ばれる2つの異なるLLMを用いた対照デコーディング[5]によってスコア範囲バイアスを相殺する手法を提案した[6]．Zhaoらは，N/Aなどの意味を持たない入力に対するトークンの生成確率分布から分類ラベルのバイアスを測定し，それを基に推論時のラベルの生成確率を補正するContextualCalibrationと呼ばれる手法を提案した[7]．本研究はスコアリングバイアスを緩和する2つのアプローチを提案する．1つ目は数字トークンの潜在的バイアスの緩和である．LLMが潜在的に高い・低い確率で生成する数字を観察し，これをLLMによるバイアスとみなして是正する．2つ目は類似事例に基づく数字トークンのバイアス緩和である．入力と類似した事例をLLMによって評価したときの数字トークンの生成確率を観察し，これを用いてスコアリングバイアスを緩和する．提案手法の有効性を検証するために，LLMが生成した応答を評価するタスクと文間の類似度を評価するタスクについて，バイアス緩和を行わない手法や従来のデバイアス手法をベースラインとし，提案手法と比較する．