LLMの知能は人間と同様の構造を持つか？：人間の知能理論を用いた評価スコアの統計分析

言語モデルの評価ベンチマークの充実に伴い，言語モデルの評価結果に対し適切な解釈を与えることの重要性が増している．本研究では，言語モデルの評価結果を人間の知能理論に基づいた統計モデルで説明できるか検証を行う．具体的には，人間の知能体系と学習段階に関するCattell-Horn-Carroll理論とBloomの体系に加えて，評価スコアに基づく統計モデルを用いた確認的因子分析を行う．観測変数として，88の言語モデルと54の評価タスクからなる評価スコアを用いる．実験の結果，統計モデルと評価タスクの適切な調整によって統計モデルによる説明を与えることができたが，統計モデルのさらなる探索の必要性が示唆された．