多次元幾何学的推論における大規模言語モデルの性能評価

多くの推論タスクにおいて，人間の推論能力は問題の構造的複雑性が増すにつれて顕著な限界を示すことが知られている．その代表例が幾何学的推論である．人間は二次元や三次元の空間構造を比較的容易に把握できる一方で，四次元以上の空間構造を理解することは，特別な訓練を受けない限り極めて困難である[1]．この困難の一因は，我々が生活する物理世界が三次元空間で構成されていることであり，四次元以上の高次元空間を扱う際には物理世界を参照した推論が不可能となるためである．これに対し，大規模言語モデル（LargeLanguageModel;LLM）の推論は物理世界への身体化を伴わない．LLMは大量のテキストデータを学習することで統計的・構造的規則性を獲得し，それに基づいて現実世界を抽象的に表現した世界モデルを内部に形成する[2]．この世界モデルは，人間が知覚や行動体験を通じて獲得する三次元的な世界理解とは異なorg/licenses/by/4.0/).org/licenses/by/4.0/).生成しているため，各次元の問題数は完全には一致しない．問題区分二次元三次元四次元PPC180258270IC180258270CSC138138138NUM118118118合計616772796め，ベースとする問題は線分に関するものに限定し，拡張が困難と判断される問題は除外する．こうして選定されたベース問題を答えを保ったまま自然に次元拡張することで，二次元・三次元・四次元にわたる多次元幾何学問題を作成する．次元的拡張において，ベース問題で扱う図形によって拡張される問題の数は異なる．選択肢問題については，問題数を確保するため，頂点名を入れ替えることで複製を行っている．さらに，問題の多様性を担保するため，選択肢問題に加えて数値問題を作成する．数値問題の作成にあたっては，GeomRelを参考に次元ごとに基本的図形を定義する．その一覧を表1に示す．基本的図形に対して，頂点数などの基本的性質を問う問題，面積・体積・超体積や周長・表面積・表体積を計算する問題，対角線長を求める問題を作成し，辺長などを変更することで複製を行う．各次元における問題数は，表2に示す通りである．3.2問題区分MDGeomは，平行・垂直分類（ParallelPerpen-dicularClassification;PPC），交差分類（IntersectionClassification;IC），共通部分空間分類（Co-subspaceClassification;CSC），および数値問題（NumericProb-lem;NUM）から構成される．このうち，PPC，IC，CSCは選択肢問題であり，NUMは整数値による回答を求める数値問題である．PPCとICはGeomRelの直線同士の関係に関する問題に，CSCは点と直線の関係に関する問題に由来し，NUMは問題の多様化を目的として本研究で独自に設計された問題集である．PPC，IC，CSCの選択肢は付録4の表4に示す．PPCは，与えられた2つの線分が平行か垂直かを判定する問題である．ICは，与えられた2つの線分が交差するか否かを判定する問題である．ここで，PPCとICでLLMに与える図形の情報は同一であり，選択肢のみが異なっている．CSCは，与えられた点群が共通部分空間上に存在するか否かを判定する問題である．具体的には，二次元では3点が同一直線上に存在するか，三次元では4点が同一平面上に存在するか，四次元では5点が同一三次元超平面上に存在するかを問う．NUMは，基本的図形に関する頂点数，辺長，面積・体積・超体積，周長・表面積・表体積，対角線長などを問う問題であり，整数値による回答を求める．4実験4.1モデル分析対象とするモデルとして，一般に広く利用され，各種ベンチマークにおいて高い性能を示しているGPT-4oファミリーを選択した．さらに，モデルの軽量化の影響および推論特化の強化学習の効果を検証するため，GPT-4o，GPT-4o-mini，o1の性能を比較する．また，代表的なオープンモデルとして，Qwen2.5-7B-it（以下，Qwen2.5）およびGemma2-9B-it（以下，Gemma2）を検証の対象とする．さらに，数学特化の強化学習の効果を評価するため，Qwen2.5-Math-7B-it（以下，Qwen2.5-Math）における性能も検証し，Qwen2.5との比較を行う．4.2プロンプト他の推論タスクでは，CoTなどのプロンプト設計により性能が向上することが確認されている[12]．そこで本研究では，プロンプト内に推論することを明示することによる効果を検証するため，推論あり，推論なしの2種類のプロンプトで実験を行う．プロンプトの詳細は付録Bの図2に示す．4.3評価指標各設定における性能は精度(Accuracy)によって評価する．5結果と考察推論ありのプロンプトを用いた実験結果を表3に示す．本研究はLLMに対する推論強化が多次元幾何学的推論能力に与える影響の検証を目的としているため，本文では推論ありとした場合のみを対象に議論を行う．推論なしのプロンプトを用いた実験結果は付録Cの表5を参照されたい．org/licenses/by/4.0/).区分次元GPT-4oGPT-4o-minio1Qwen2.5Qwen2.5-MathGemma2PPC2D80.5685.5686.1185.0081.1165.563D62.0268.6073.6472.0964.3458.144D49.2656.3067.4164.0757.4157.04IC2D84.4472.7899.4482.7887.2273.893D77.5265.5091.4769.3873.2674.424D69.6357.4185.9367.0474.4466.30CSC2D85.5184.7894.9371.0173.9166.673D86.2380.4394.2090.5876.8163.044D76.0965.9485.5167.3968.8457.25NUM2D98.3198.31100.0094.9298.3194.923D100.00100.00100.00100.00100.0090.684D85.5954.2495.7661.0267.8040.68Overall2D86.2084.0994.6483.1284.5873.863D77.3374.4887.3178.7675.0069.434D66.2158.0481.0365.2066.7157.79全体的な傾向として，次元の増加とともに精度の低下が確認された．一方で，Qwen2.5におけるCSCなど，一部のケースでは二次元から三次元にかけて精度の向上が見られた．次元が増加すると問題を回答するために考えるべき図形や法則の数も増加するため精度は低下するというのが自然な仮説であるが，LLMにおいてはその仮説が通用しない可能性があることが示唆された．二次元から三次元にかけての性能低下と三次元から四次元にかけての性能低下を比較すると，ほとんどのケースで三次元から四次元にかけての性能低下が大きい傾向を示した．特に，NUMではGPT-4oとo1を除く全てのモデルが三次元から四次元にかけて30%以上の性能低下を示しており，四次元において顕著な限界に達していることを示唆している．モデルの軽量化の影響として，GPT-4o-miniはGPT-4oと比較して二次元・三次元においては全体として3%前後の性能差にとどまった．一方で，四次元においては8%ほど性能が低下する結果となった．このことから，GPT-4o-miniへの軽量化において，三次元以下の幾何学的推論能力は維持された一方，四次元以上の高次元の幾何学的推論能力はある程度損なわれているものと考えられる．また，推論強化の影響として，o1は各次元で最も高い性能を示した．特に，次元ごとの精度をGPT-4oと比較すると，次元数の増加とともに精度の改善幅は大きくなっている．このことから，o1における推論強化により，特に高次元における幾何学的推論能力が大幅に強化されたと言える．一方で，数学特化の推論強化の影響として，Qwen2.5-Mathの精度はQwen2.5と比較してほとんど改善を示していない．このことから，Qwen2.5-Mathにおいてはo1とは異なり高次元における幾何学的推論能力は改善していないものと考えられる．この原因に関しては今後の分析が求められる．6おわりに本研究では，大規模言語モデル（LLM）における多次元幾何学的推論能力を体系的に評価するため，二次元・三次元・四次元にわたる幾何学ベンチマークMDGeomを新たに構築し，複数のモデルに対して性能を比較した．その結果，次元数の増加に伴い性能の低下が確認された．さらに，多くのモデルにおいて人間と同様，三次元から四次元にかけての性能低下が二次元から三次元にかけての性能低下と比較して大きい傾向が観察された．また，推論強化によって一部のモデルでは効果的に高次元における幾何学的推論能力を向上することができることが確認された．今後の課題として，(1)次元数のさらなる拡張，(2)問題区分ごとに異なる傾向を示す原因の究明，(3)次元数増加に伴う性能低下の機械論的解釈可能性による分析などが挙げられる．こうした取り組みを通じて，幾何学的な観点から見たLLMの世界モデルの構造的限界とそのメカニズムをより深く理解するとともに，LLMを用いた効果的な高次元空間理解の実現への指針を得られることが期待される．org/licenses/by/4.0/).