アライメントが大規模言語モデルの数値バイアスに与える影響

大規模言語モデル(LLM)をシステム出力の評価者として利用する手法は，“LLM-as-a-judge”[1]と呼ばれる．この手法は，BLEU[2]やROUGE[3]のような表層評価指標と比較して，参照なしでシステム出力を直接評価させるため，人間のアノテータの時間と労力を削減し，よりスケーラブルな評価プロセスを可能にする．また，機械翻訳品質推定(MachineTranslationQualityEstimation;MTQE)[4,5,6]のような多言語タスクでも，その有効性が示されている．評価者として用いられるモデルは，指示チューニングやRLHF[7]などのアライメント手法が適用された後のLLM(post-alignmentLLM)が主流である．アライメントとは，モデルが人間の意図や価値観に沿った応答を生成できるように調整するプロセスであり，これによってモデルは優れた指示追従能力を獲得し，高い評価性能を実現している．しかし，このようにアライメントが施されたモデルには新たな課題が浮上している．その一例として，図1に示すような，入力に寄らずモデルが特定の数値トークン価者のバイアスの例．LLM評価者は，入力に関係なく特定の数値を頻繁に使用する傾向がある．（例えば，0–9の範囲で8）を頻繁に生成する現象が確認されている.本研究では,この現象を数値バイアスと呼ぶ．特定のトークンへの極端な集中は，モデルが異なる出力間の差異を適切に評価する能力を低下させる可能性がある．そのため，数値バイアスの原因の特定と対処が不可欠である．我々は，数値バイアスの原因を考える上で，LLMのアライメントがモデル出力に影響を与える可能性に注目する．先行研究では，アライメントによってモデルの多様性[8]や創造性[9]が損なわれることが指摘されており，これが出力内容を特定のパターンに偏らせる要因になりうると示唆されている．こうした偏りが，数値トークンの生成にも影響を及ぼし，不自然な分布を生む可能性がある．アライメントの過程で出力可能な数値トークンの分布が不自然に偏る副作用が発生する場合，これは評価タスクにおいて望ましい影響ではない．さらに，多言語が関与するMTQEのようなタスクでは，こうしたバイアスが言語ごとに異なる形で現れる可能性があり，評価性能のばらつきを引き起こす要因となりうる．これらの背景を踏まえ，本研究では次の2つの研究課題に基づいて，LLMのアライメントが数値バイアスに与える影響についてより深い分析を行う．.(a)英語からドイツ語への翻訳(En-De)(b)英語から中国語への翻訳(En-Zh)(c)ロシア語から英語への翻訳(Ru-En)(d)ネパール語から英語への翻訳(Ne-En)RQ1LLMのアライメントは数値バイアスにどのような影響を与えるのか？また，その影響は言語ごとに異なるのか？RQ2数値バイアスを緩和し，評価タスク性能を向上するには，どのような評価設定が有効か？RQ1（アライメントの影響）について，pre-alignmentモデルとpost-alignmentモデルの評価スコア分布を比較した結果（図2），post-alignmentモデルは特定スコアに偏る傾向が顕著であり，言語によってアライメントの影響の大きさが異なることが示唆された．また，数値バイアスの強化による評価精度低下も確認された．RQ2（数値バイアスの緩和）に対しては評価スコア範囲と温度パラメータの2つの設定の影響を調査し，指定するスコア範囲でバイアスの強度が異なること，特定のモデルでは温度パラメータの増加でバイアスが緩和することが示された．