LLMの社会実装が進む一方で，算術演算のような厳密な論理を要するタスクへの不完全性が課題となっている．内部機序の観点による分析が進められているが，記号処理能力の獲得機序は明らかとなっていない．本研究は，整数加算問題に関する統制された合成データを用いた実験により，Transformerの加算能力獲得機序を幾何学的に検証した．結果，モデルの深さと特定の桁数構成が，埋め込み空間における螺旋構造の形成とGrokkingの発生を決定づけることを解明した．これに基づき，埋め込みの螺旋構造を固定する新たな学習戦略を提案し，従来の全データ一括学習よりも効率的に高精度なモデルを獲得できることを確認した．

大規模言語モデル（LLM）の適用範囲は拡大しているが，規則的な記号処理能力には本質的な不完全性が残る．Dziriら[1]が指摘するように，Transformerは規則に基づく記号操作を統計的パターンで近似するため，多段階の構成的推論において破綻しやすい．例えば算術演算については，演算過程における入出力の桁数増大に伴う精度低下[2]や，小学校レベルの算数文章題ベンチマークGSM8K[3]での誤答が報告されており，モデルが演算アルゴリズムを真に習得できていない証左となっている．こうした課題に対し，学習済みの大規模言語モデルを対象に，算術演算を担う推論回路の特定等の内部機序の分析が行われている．一方で，言語モデルが算術能力をどのように獲得するかについては，過学習後に汎化性能が突如発現するGrokking現象が算術能力にも認められるとの報告がある[4]．しかし，学習データが不明な学習済みモデルを対象とした分析では，学習データの特性とモデル特性との区別が困難である．また言語データが混在したデータからの学習においては純粋な算術能力獲得過程の解吉永直樹東京大学生産技術研究所ynaga@iis.u-tokyo.ac.jp1.課題