評価結果の予測確率を用いたLLMによるLLMの相対評価

本論文では，評価結果の予測確率を用いる大規模言語モデル（LLM）によるLLMの新たな相対評価手法を提案する．従来の相対評価では，評価対象LLMの提示順を入れ替えた際に評価結果が変動する位置バイアスが生じた際，最終的な評価結果を適切に定める手法が確立されていない．そこで，本研究では，位置バイアスが生じた際に，提示順入れ替え前後の評価結果の予測確率の平均が最も高い結果を最終的な評価結果とする手法を提案する．そして，本提案手法を文章作成等のビジネスタスクを対象に評価し，有効性を確認した．