大規模言語モデルにおける評価バイアスの尤度に基づく緩和

大規模言語モデル(LargeLanguageModel;LLM)は言語生成タスクの評価器として用いられている。ところが、ある文章の意味を変えずに語順や構造を変更した文章を作ると、LLMが計算する尤度が大きく変化することがある。そのため、LLM評価器には、尤度が低い文章を不当に低く、尤度が高い文章を不当に高く評価する尤度バイアスが存在すると考えられる。本研究では、尤度バイアスがLLM評価器の性能を低下させることを明らかにし、Few-shotによるバイアス緩和手法を提案する。実験では、複数のLLMがdata-to-textタスクと文法誤り訂正タスクで尤度バイアスを持つ可能性を示し、その緩和に成功した。