大規模言語モデル(LLM)は，テキストの品質評価や文間類似度の推定など，スコアとして数字を出力させるために使われることも多い．本研究は，LLMが生成する数字トークンの偏り(バイアス)を緩和する2つの手法を提案する．ひとつはLLMにランダムに数字を生成させることでLLMが持つ潜在的なバイアスを測定し，これを基にデバイアスを行う手法，もうひとつは入力と類似した事例に対するバイアスを測定し，デバイアスを行う手法である．3つのタスク，5つのLLMを用いた実験の結果，提案手法は数字トークンのバイアス緩和に貢献し，既存のキャリブレーション手法に匹敵する性能を示した．

大規模言語モデル(LargeLanguageModel;LLM)は機械翻訳や要約といった様々な自然言語処理タスクで利用され，優れた性能を発揮している．LLMは流暢なテキストを生成する能力に長けているが，スコアリングのために数字を生成することを目的として使われることも多い．近年ではLLMを評価器として利用するLLMasaJudgeと呼ばれる活用も盛んに行われている．従来のテキスト生成の自動評価は，生成されたテキストと参照テキストの類似度を測る手法が主流であった．これに対し，LLMの評価器としての利用は，大量のサンプルに対して参照テキストを用意するための人的コストを軽減するだけでなく，参照テキストを用いた自動評価よりも適切な場合もあることが知られている[1,2]．この際，LLM評価器は生成テキストの品質をスコア(数字)として出力することが多い．しかしながら，LLMが生成するテキストには様々なバイアスがあることが知られている．LLMで数字を生成させるときにもバイアスの影響は無視できない．例えば，LLM評価器において，評価対象テキストの内容に依らず特定の数値に出力が偏ることが知られている[3,4]．本研究では，LLMが数字をスコアとして生成する際のバイアスを「スコアリングバイアス」と呼ぶ．スコアリングバイアスに関する研究は近年注目を集めている．Liらは，プロンプトに与える採点基準の順序をシャッフルしたり，参照解答をプロンプトに加えたりすることで，意図的にスコアリングバイアスを誘発し，既存モデルのスコアリングバイアスに対する頑健性を評価した[3]．Fujinumaは，スコア範囲を変動させるとLLM評価器の性能が変化する「スコア範囲バイアス」を指摘し，メインモデルとアシスタントモデルと呼ばれる2つの異なるLLMを用いた対照デコーディング[5]によってスコア範囲バイアスを相殺する手法を提案した[6]．Zhaoらは，N/Aなどの意味を持たない入力に対するトークンの生成確率分布から分類ラベルのバイアスを測定し，それを基に推論時のラベルの生成確率を補正するContextualCalibrationと呼ばれる手法を提案した[7]．本研究はスコアリングバイアスを緩和する2つのアプローチを提案する．1つ目は数字トークンの潜在的バイアスの緩和である．LLMが潜在的に高い・低い確率で生成する数字を観察し，これをLLMによるバイアスとみなして是正する．2つ目は類似事例に基づく数字トークンのバイアス緩和である．入力と類似した事例をLLMによって評価したときの数字トークンの生成確率を観察し，これを用いてスコアリングバイアスを緩和する．提案手法の有効性を検証するために，LLMが生成した応答を評価するタスクと文間の類似度を評価するタスクについて，バイアス緩和を行わない手法や従来のデバイアス手法をベースラインとし，提案手法と比較する．