項目反応理論を用いたベンチマークからの選択的項目抽出

本研究では，大規模言語モデルの評価の効率化を目的とし，数学的推論ベンチマークであるGSM8Kに対して項目反応理論を用いた分析を行った．具体的には，各項目の困難度および識別力に基づきデータセットの項目の抽出を行い，抽出前後におけるモデルの能力パラメータ推定の精度について，ベンチマーク内での順位の安定性を尺度として調査した．分析の結果，困難度に基づく項目抽出では高性能モデルに適した項目が選択される一方，識別力に基づく抽出では全項目の10%程度のデータ量であっても，全データを用いた場合と高い順位相関を持つ推定結果が得られることがわかった．