LLMの知能は人間と同様の構造を持つか？：人間の知能理論を用いた評価スコアの統計分析

近年の言語モデルの発展とともに，言語モデルの言語処理能力を様々な観点から評価することの重要性が増している．それに伴い，多くの評価ベンチマークが迅速に開発されている1）．しかしながら，評価ベンチマークごとに評価対象としている能力が異なるにもかかわらず，実際に言語モデルを評価して得られた各評価ベンチマークの評価スコアには高い相関が見られることが報告されている[1,2]．そのため，各評価ベンチマークによる言語モデルの評価結果が，実際に言語モデルのどのような能力を反映しているのかについて分析が求められている．これまでに言語モデルの評価結果に対して統計分析を行い，評価結果から言語モデルの知能体系を構造化する試みが行われている[3,4]．また，人間の知能能力や認知能力の学習段階に関する理論を用いて言語モデルを分析する取り組みもある[5,6]．しかし，これらの先行研究で議論されているように，1）一例として，HuggingFaceの評価ツールであるlightevalは一千以上の評価タスクをサポートしている．org/licenses/by/4.0/).org/licenses/by/4.0/).CFAモデルCFIGFITLIRMSEABloomモデル0.4590.4160.4270.236Bloomモデル（AGIEvalのみ）0.9830.9730.9680.138Bloomモデル（BIG-BenchHardのみ）0.4900.4510.4530.251CHCモデル0.4620.4120.4390.219CHCモデル（AGIEvalのみ）0.7440.7150.7090.264CHCモデル（BIG-BenchHardのみ）0.6360.5970.6010.244EFAモデル0.7570.6780.7360.150EFAモデル（AGIEvalのみ）0.8590.8270.8370.199EFAモデル（BIG-BenchHardのみ）0.8000.7520.7700.186EFAモデル（平均）0.9840.9700.9580.112の評価には，再現性を担保するため，言語モデルの公開評価ツールであるLanguageModelEvaluationHarness[22]を用いる．3.3モデルと適合度の評価本研究では言語モデルの各評価タスクにおける評価スコアを観測変数とみなし，それぞれの評価タスクが評価している能力として潜在変数を定義したCFAモデルを検証対象とする．CFAモデルとして，主に三つのモデルを用意する．一つ目は，Bloomの体系を用いた先行研究[6]に基づいたBloomモデルを用意する．Bloomモデルでは，先行研究に従った評価タスクと人間の知能能力の対応づけを扱う．二つ目として，CHC理論に基づいて，評価タスクを人間の知能能力に紐づけたCHCモデルを用意する．本研究では，CHC理論を用いた先行研究[5,8]では扱っていない評価タスクも用いているため，先行研究を参考にした上で，新たに知能能力への紐づけを行う．三つ目として，人間の知能能力に対する既存の理論を用いず，探索的因子分析を行ってEFAモデルを設計する．探索的因子分析にはOPTICSクラスタリングアルゴリズム[12]を用いる．それぞれのCFAモデルの詳細に関しては付録Aを参照されたい．実際のデータがうまくCFAモデルに当てはまるかを判断する適合度の指標[23]として，本研究ではComparativeFitIndex（CFI），Goodness-of-FitIndex（GFI），Tucker-LewisIndex（TLI），RootMeanSquareErrorofApproximation（RMSEA）を用いた．指標の解釈はサンプルのサイズ，モデルのパラメータ数などによって変わってくるが，一般的にはCFI，GFI，TLIが0.95以上，RMSEAが0.06以下だと許容範囲内のCFAモデルと解釈される．適合度の指標とその解釈の詳細については星野ら[24]を参照されたい．本研究の統計分析には，再現性を担保するため公開ツールであるsemopy[25,26]を用いる．4結果と分析CFA分析を行った結果を表2に示す．3.3節の評価基準から，本研究で検証したBloomモデル，CHCモデルはいずれも実際の評価スコアを説明するには不適切であることがわかる．この結果は，人間の知能に対する既存の理論を，言語モデルの能力に適用するためには何らかの調整が必要であることを示唆する．実際に，先行研究[5]でも，CHC理論を大幅に修正して構築したCFAモデルを統計的に有意味なモデルとして報告している．また，既存の知能理論を使わないEFAモデルでも，許容範囲よりも悪い適合度が算出された．この結果から，観測変数，つまり各評価タスクの評価スコアには何らかの問題があることが疑われる．例えば，本研究の実験設定ではAGIEvalとBIG-BenchHardからのタスクの数が非常に多いため，評価スコアの分布に，評価ベンチマーク固有の特徴に由来した問題が存在する可能性が考えられる．そこで追加実験として，我々はCFAモデルの修正を行い再検証を試みた．CFAモデルの修正には以下の仮説を用いた．•AGIEvalとBIG-BenchHardだけを使った場合の適合度を確認するべきではないか？•EFAモデルの場合，AGIEvalとBIG-BenchHardは平均スコアだけを用いるべきではないか？修正したCFAモデルを用いた検証結果も表2に示org/licenses/by/4.0/).されている．結果として，どのCFAモデルも許容範囲の適合度を示さないことがわかる．特にRMSEAは一番小さい場合でも0.112になっており，基準値の0.06には程遠い．しかし，先行研究[27]ではサンプルの数が十分でない場合，RMSEAでの検証が第一種過誤を起こす恐れがあると報告されている．本研究ではサンプルの数が88で，先行研究で指摘している200以下のケースに含まれる．従って，ここはCFI，GFI，TLIが0.95以上になっているAGIEvalのみのBloomモデルと，AGIEvalとBIG-BenchHardの平均スコアを用いたEFAモデルを，暫定的に許容範囲内の統計モデルとして扱い，そこから得られた知見を議論する．まず，AGIEvalとBIG-BenchHardに限定して統計分析を行った結果，Bloomモデル，CHCモデル，EFAモデルでCFI，GFI，TLIが向上する傾向が見られる．中でもBloomモデルは，AGIEvalのサブタスクだけを使うCFAモデルがもっとも評価スコアを説明できるという結果を示した．この結果から，AGIEvalとBIG-BenchHard以外の評価ベンチマークが，CFAモデルの中でノイズになっている可能性が考えられる．また，AGIEvalとBIG-BenchHardを共に用いることも，同じくCFAモデルに悪い影響を与える可能性が示唆される．最後に，AGIEvalとBIG-BenchHardの平均スコアだけを用いたEFAモデルはCFI，GFI，TLIが0.95以上となっており，AGIEvalのみのBloomモデルと同じく許容範囲内の統計モデルとなった．評価スコアを確認したところ，AGIEvalとBIG-BenchHardのサブタスクの中に言語モデルが全く解けていないタスクが多数存在することが判明した．このことから，AGIEvalとBIG-BenchHard全体の平均スコアだけを用いることによって，全く解けていないサブタスクの影響が軽減されたことが示唆される．ダイアグラムを示す．評価スコアから推定された潜在変数のeta1，eta2，eta3は，各潜在変数に関係づけられている評価ベンチマークの内容から，それぞれ「特定のドメインに対する知識・問題解決能力」，「推論能力」，「一般常識・世界知識に対する能力」と解釈することができる．これらの潜在変数は，付録AにあるCHCモデルの「専門分野知識」，「推論能力」，「読解能力」に類似していると考えられる．今後の課題として，EFAモデルとCHC理論の統合による言語モデルの知能構造に対する分析が求められる．価スコアは，対応する評価ベンチマークの名前の略語で表記している．5おわりに本研究では人間の知能能力に対する理論を用いて，言語モデルの評価結果を説明する統計モデルの構築を試みた．88件の言語モデルと54個の評価タスクを用いて得られた評価スコアを観測変数として，人間の知能能力に対する理論であるCHC理論と，人間の認知能力の学習段階に対する理論であるBloomの体系と，評価スコアに基づいて潜在変数を推定した結果を用いて設計した確認的因子分析を行った．その結果，既存研究の理論をそのまま用いた統計モデルは，言語モデルの評価結果の説明として統計的に有意でないということがわかった．そこで，評価タスクの制限と評価スコアの調整を行い統計モデルを修正することで，統計的に有意とされるCFAモデルを構築することができた．また，言語モデルの評価スコアを統計的に説明できる二つのCFAモデルは，それぞれBloomの体系とCHC理論に類似することが判明した．本研究の結果から，人間の知能理論を用いて言語モデルの知能体系を分析するためには，評価ベンチマークに対する適切な統制が必要とされるという知見が得られた．本研究の課題として，サンプルとなる言語モデルの数のさらなる担保，許容範囲内と確認された統計モデルに更なる評価タスクを取り入れた拡張などがあげられる．今後の取り組みとして，より多くのサンプルと選別された評価タスクを用いた堅牢な統計モデルの開発と，その統計モデルを用いて言語モデルの知能体系を解析する評価フレームワークの提案を目指す．org/licenses/by/4.0/).