網羅的統制実験によるTransformerの加算能力獲得機序の解明

LLMの社会実装が進む一方で，算術演算のような厳密な論理を要するタスクへの不完全性が課題となっている．内部機序の観点による分析が進められているが，記号処理能力の獲得機序は明らかとなっていない．本研究は，整数加算問題に関する統制された合成データを用いた実験により，Transformerの加算能力獲得機序を幾何学的に検証した．結果，モデルの深さと特定の桁数構成が，埋め込み空間における螺旋構造の形成とGrokkingの発生を決定づけることを解明した．これに基づき，埋め込みの螺旋構造を固定する新たな学習戦略を提案し，従来の全データ一括学習よりも効率的に高精度なモデルを獲得できることを確認した．