LLMにおけるスコアリングバイアスの緩和

大規模言語モデル(LLM)は，テキストの品質評価や文間類似度の推定など，スコアとして数字を出力させるために使われることも多い．本研究は，LLMが生成する数字トークンの偏り(バイアス)を緩和する2つの手法を提案する．ひとつはLLMにランダムに数字を生成させることでLLMが持つ潜在的なバイアスを測定し，これを基にデバイアスを行う手法，もうひとつは入力と類似した事例に対するバイアスを測定し，デバイアスを行う手法である．3つのタスク，5つのLLMを用いた実験の結果，提案手法は数字トークンのバイアス緩和に貢献し，既存のキャリブレーション手法に匹敵する性能を示した．