人手評価データセットの統計的類似性と代替可能性

大規模言語モデル(LLM)の活用領域が拡大する中で，タスクごとに求められる各指標に対してモデルを評価する必要がある．評価手法として人手評価が広く用いられており，指標ごとにスコア付けを行う手法[1,2]やChatbotArena[3]のようなモデル順位による相対性能を測る手法が存在する．人手評価は自動評価と比較して信頼性が高い一方で，評価者の雇用費や事前説明を含む金銭的，時間的コストが高い．先行研究では，得られたモデル順位が異なるタスク間で相関することが示されており[4]，特定の条件下では，一方の設定で得られたモデル順位から他方の設定における結果を近似できる可能性がある．入出力形式や評価指標を変えた多様な評価設定が存在する中，モデル順位を既存の結果で近似的に代替できれば評価コスト削減に有用である．従来までの代替可能性の議論では，一般に多数モデルに対する評価値を各設定で取得し順位相関を算出する必要があった[4]．これは評価の代替によってコスト削減を目指す一方で，代替可能性の推定自∗東北大学の学術研究員としての成果評価設定１評価設定2代替可能性⾼類似代替可能性低⾮類似頻度標準偏差体に評価コストが発生するという実用上の制約となりうる．そこで本研究では，代替可能性を既存の少数モデル評価から推定することを目的とする．本研究では「統計的特性における類似度が高いほど代替可能性が高い」という仮説のもと，評価設定の統計的特性として評価者間のスコアのばらつきにおける分布または平均スコア分布の類似性に着目し，これらが設定間の代替可能性と対応するか(図1)を検証する．低コストで代替可能な評価設定を特定できれば，新たなタスクに対する近似的な評価結果として代用することが期待できる．実験では，5つの文生成タスク，17のデータセット，評価指標を区別した計33の設定を対象に10モデルの応答を収集し，LLM評価により人手評価を近似的に再現することで[5]設定間のモデル順位相関を算出する．同サンプル内のスコア標準偏差および平均スコアの分布間の距離を算出することで，設定間の統計的性質の類似度を定量化する．結果として，標準偏差分布の類似度とモデル順位相関との間に正の相関が確認され，評価者間のばらつきという統計的性質が近い評価設定同士ほど，モデルの相対的な優劣が一致しやすいことが示された．