メタファー判断におけるLLM-as-a-Judgeの安定性分析：モデル・プロンプト・人間判断の比較

近年，大規模言語モデル（LLM）を判定器（LLM-as-a-Judge）として用い，データセット構築や評価を行う研究が数多く報告されている．しかし，これらの手法は判定の安定性を暗黙に前提としており，メタファー判断のような主観性の強いタスクにおいて，その前提が成立するかは十分に検証されていない．判定の不安定性やプロンプト依存性が大きい場合，LLM-as-a-Judgeに基づく評価の信頼性や再現性に影響を及ぼす可能性がある．本研究では，英語メタファー判断を対象に，Instructiontuningされたパラメータ規模の近い複数のオープンソースLLMをLLM-as-a-Judgeとして用いた場合の判定特性を分析する．意味的に等価な複数プロンプトに対する判断の一致性と，人手アノテーションに付随する判断自信度との関係に着目し，モデル・プロンプト・人間判断の対応関係を検討する．MOH-Xデータセットを用いた実験の結果，判定の安定性はモデルおよびプロンプトの選択により大きく異なり，一部のモデルでは，人間判断の自信度が高い事例ほどLLMによる判定との整合性が高まる傾向が確認された．