アライメントが大規模言語モデルの数値バイアスに与える影響

大規模言語モデル（LLM）を評価者として用いる“LLM-as-a-judge”は，機械翻訳品質推定（MTQE）をはじめとする，多くの評価タスクで効果を示している．しかし，指示チューニングや強化学習によってアライメントされたLLMでは，特定の評価スコアを頻繁に生成する数値バイアスが確認されている．この現象は，アライメントにより出力の多様性が減少するという既存の知見と一致しており，多様性の欠如は評価スコアの偏りを引き起こす可能性がある．その結果，入力の微細な変化に対する評価の頑健性が損なわれる懸念がある．本研究では，LLMのアライメントが数値バイアスおよびタスク性能に与える影響を調査する．