メタファー判断におけるLLM-as-a-Judgeの安定性分析：モデル・プロンプト・人間判断の比較

近年，大規模言語モデル（LLM）を判定器として用い，データセット構築，注釈支援，自動評価を行うLLM-as-a-Judgeの枠組みが広く用いられている[1,2]．これらの手法は，人手コストの削減や評価の効率化に寄与し[3]，自然言語処理分野における多様なタスクへの応用が進められている．一方で，LLM-as-a-Judgeによる判定はモデル内部の判断基準に依存しており，その判定が一貫した基準に基づいて安定に行われているかどうかは明らかではない．特に，判定基準を定義しにくい主観的判断タスクにおいては，問い方などの表層的な違いが判定結果org/licenses/by/4.0/).org/licenses/by/4.0/).本研究では，特定のプロンプト表現の最適化ではなく，意味的に等価な問い方に対する判定結果の一貫性および安定性を評価対象とする．3.4推論設定すべての実験はAppleSilicon環境においてMetalPerformanceShaders（MPS）を用いて実行した．数値精度には，計算の安定性および再現性を考慮し，32-bit浮動小数点（fp32）を用いた．推論時の生成設定として，最大生成トークン数を5，温度パラメータを0とし，確率的サンプリングを行わない決定論的な出力を得た．また，すべてのモデルに対して同一の推論設定および乱数シードを適用した．3.5評価方法判定性能の評価には，人手アノテーションとの一致率として，正解率（Accuracy）およびMacro-F1スコアを用いる．MOH-Xはクラス不均衡を含むため，多数クラスへの偏りを考慮し，クラス間を等重みで評価するMacro-F1を併せて報告する．各モデルの性能は，3種類のプロンプトに対する判定結果を平均して算出する．また，プロンプト表現に対する判定の安定性を評価する指標として，プロンプト間一致率（promptagreement）を用いる．これは，同一文に対する各プロンプトの判定結果の一致度を表す指標であり，あるプロンプト𝑝𝑖に対する一致率は，残りの2つのプロンプト𝑝𝑗,𝑝𝑘とのpairwise一致率の平均として次式で定義する：