人手評価データセットの統計的類似性と代替可能性

コストの高い人手評価において，1設定で得たモデル評価を他設定の評価として近似的に代替できる可能性がある．本研究では，人手評価の統計的性質に着目し，既存のモデル評価から代替可能性を推定する枠組みを提案する．具体的には，サンプル内標準偏差および平均スコアの分布をヒストグラム化し，分布間距離で類似度を定量化する．実験では33設定を対象に10モデルの応答を収集し，LLM評価で人手評価を再現して順位相関を算出した．結果，標準偏差分布の類似度と順位相関の間に正の相関が確認され，評価者間のばらつきが近い設定ほどモデルの相対的優劣が一致しやすいことが示唆された．