項目反応理論を用いたベンチマークからの選択的項目抽出

近年の大規模言語モデル（LLM）の発展に伴い，モデル間で性能を比較することの重要性が増している．特に，各モデルに対してベンチマークと呼ばれる一連のタスク（項目）群を解かせ，正答率などの評価指標により，性能を比較する手法が広く用いられている．一方で，ベンチマーク内の項目数は数千から数万にまで及ぶことが多く，一度の評価にかかる計算コストが増大している．また，項目数の膨大さゆえに，個別の項目に対する人間による精査が困難となっており，ラベルミスなどの項目の整合性の確認や，個々の項目に対するモデルの挙動の詳細な分析などが難しくなっている．以上の背景から，評価精度を維持しながらより少ない項目数で効率的な評価を行う手法の開発が望まれる．これを受け，本研究では，個々の項目の特性とモデルの能力を独立に推定可能な項目反応理論(IRT)を用いて，ベンチマークの項目数の削減を試みる．具体的には，各項目の難しさ（困難度），およびモデル間の能力の差を見分ける力（識別力）に基づき項目を選択的に抽出し，抽出前後でのIRTによるモデルの能力値（潜在能力）に基づく順位の安定性について，相関係数などの観点から評価を行う．そして，どの抽出方法でどの程度の項目数であれば，元のベンチマークと高い順位一貫性を保てるかを検証する．本稿では，まず関連研究を概観した後，IRTの基礎的な概念と本研究で用いた手法について説明する．次に，実験設定と結果，および結果に対する考察について述べ，最後に本研究のまとめと今後の課題について議論する．