網羅的統制実験によるTransformerの加算能力獲得機序の解明

大規模言語モデル（LLM）の適用範囲は拡大しているが，規則的な記号処理能力には本質的な不完全性が残る．Dziriら[1]が指摘するように，Transformerは規則に基づく記号操作を統計的パターンで近似するため，多段階の構成的推論において破綻しやすい．例えば算術演算については，演算過程における入出力の桁数増大に伴う精度低下[2]や，小学校レベルの算数文章題ベンチマークGSM8K[3]での誤答が報告されており，モデルが演算アルゴリズムを真に習得できていない証左となっている．こうした課題に対し，学習済みの大規模言語モデルを対象に，算術演算を担う推論回路の特定等の内部機序の分析が行われている．一方で，言語モデルが算術能力をどのように獲得するかについては，過学習後に汎化性能が突如発現するGrokking現象が算術能力にも認められるとの報告がある[4]．しかし，学習データが不明な学習済みモデルを対象とした分析では，学習データの特性とモデル特性との区別が困難である．また言語データが混在したデータからの学習においては純粋な算術能力獲得過程の解吉永直樹東京大学生産技術研究所ynaga@iis.u-tokyo.ac.jp1.課題