近年，大規模言語モデル（LLM）を判定器（LLM-as-a-Judge）として用い，データセット構築や評価を行う研究が数多く報告されている．しかし，これらの手法は判定の安定性を暗黙に前提としており，メタファー判断のような主観性の強いタスクにおいて，その前提が成立するかは十分に検証されていない．判定の不安定性やプロンプト依存性が大きい場合，LLM-as-a-Judgeに基づく評価の信頼性や再現性に影響を及ぼす可能性がある．本研究では，英語メタファー判断を対象に，Instructiontuningされたパラメータ規模の近い複数のオープンソースLLMをLLM-as-a-Judgeとして用いた場合の判定特性を分析する．意味的に等価な複数プロンプトに対する判断の一致性と，人手アノテーションに付随する判断自信度との関係に着目し，モデル・プロンプト・人間判断の対応関係を検討する．MOH-Xデータセットを用いた実験の結果，判定の安定性はモデルおよびプロンプトの選択により大きく異なり，一部のモデルでは，人間判断の自信度が高い事例ほどLLMによる判定との整合性が高まる傾向が確認された．

近年，大規模言語モデル（LLM）を判定器として用い，データセット構築，注釈支援，自動評価を行うLLM-as-a-Judgeの枠組みが広く用いられている[1,2]．これらの手法は，人手コストの削減や評価の効率化に寄与し[3]，自然言語処理分野における多様なタスクへの応用が進められている．一方で，LLM-as-a-Judgeによる判定はモデル内部の判断基準に依存しており，その判定が一貫した基準に基づいて安定に行われているかどうかは明らかではない．特に，判定基準を定義しにくい主観的判断タスクにおいては，問い方などの表層的な違いが判定結果org/licenses/by/4.0/).org/licenses/by/4.0/).本研究では，特定のプロンプト表現の最適化ではなく，意味的に等価な問い方に対する判定結果の一貫性および安定性を評価対象とする．3.4推論設定すべての実験はAppleSilicon環境においてMetalPerformanceShaders（MPS）を用いて実行した．数値精度には，計算の安定性および再現性を考慮し，32-bit浮動小数点（fp32）を用いた．推論時の生成設定として，最大生成トークン数を5，温度パラメータを0とし，確率的サンプリングを行わない決定論的な出力を得た．また，すべてのモデルに対して同一の推論設定および乱数シードを適用した．3.5評価方法判定性能の評価には，人手アノテーションとの一致率として，正解率（Accuracy）およびMacro-F1スコアを用いる．MOH-Xはクラス不均衡を含むため，多数クラスへの偏りを考慮し，クラス間を等重みで評価するMacro-F1を併せて報告する．各モデルの性能は，3種類のプロンプトに対する判定結果を平均して算出する．また，プロンプト表現に対する判定の安定性を評価する指標として，プロンプト間一致率（promptagreement）を用いる．これは，同一文に対する各プロンプトの判定結果の一致度を表す指標であり，あるプロンプト𝑝𝑖に対する一致率は，残りの2つのプロンプト𝑝𝑗,𝑝𝑘とのpairwise一致率の平均として次式で定義する：