評価結果の予測確率を用いたLLMによるLLMの相対評価

近年，大規模言語モデル（LLM）の研究が盛んに行われており，その中で，LLMの性能評価に関する研究も多数行われている．LLMの文章生成タスクに対する性能評価として，高性能なLLM（評価役LLM）を用いてLLMの性能評価を行う手法が提案されている[1,2,3]．Zhengら[1]は，評価役LLMとしてGPT-4[4]を用いた場合，文章生成タスクにおいて，人手評価と自動評価の相関は人手評価同士の相関と同等レベルであり，人手評価をLLMで代替できる可能性を示唆している．既存のLLMによるLLMの評価手法は，評価対象の各LLMの生成文を独立に採点する絶対評価と，2つのLLMの生成文同士を比較して優劣を評価する相対評価に大別される．本研究では，Chenら[5]のように相対評価に焦点を当てる．相対評価の問題点として，評価対象の2つのLLMの提示順を入れ替えて評価すると，評価結果が変動するという点（位置バイアス）が挙げられる[1]．森田ら[6]は，質問と参照回答から自動生成した評価観点を用いることで位置バイアスの発生を低減させたが，依然として位置バイアスは発生している．位置バイアスが発生した際，Zhengら[1]は，最終評価結果を「引き分け」としている．また，森田ら[6]は，その自動評価は「適切でない」として評価手法を評価する際には誤りとしている．このように，これまでは，位置バイアス発生時の最終的な評価結果はヒューリスティックに決められている．そこで，本研究では，評価役LLMが予測した評価結果の予測確率を用いて最終的な評価結果を定める手法を提案する．具体的には，提示順の入れ替え前後で，評価結果を示すアルファベットtoken（A：LLMAの勝ち，B：LLMBの勝ち，C：引き分け)の予測確率（すなわち，その評価に対する確信度）を取得し，提示順入れ替え前後の予測確率の平均が最も高いアルファベットを最終的な評価結果として採用する．この提案手法により，位置バイアスが生じた場合でも，出力された評価結果の予測確率を考慮した上で評価結果を一意に定めることができる．提案手法の有効性を検証するため，文章作成，校正，要約タスクで構成される合計69問の質問からなるビジネスタスクを対象にした評価実験を行った．その結果，提案手法は，従来のヒューリスティックに最終評価結果を定めるベースライン手法よりも人手評価に近い結果を得ることができた．