大規模言語モデル内部における言語と計算領域の区分

本研究では，大規模言語モデル（LLM）の内部において，言語非依存な思考の領域が一般的な言語領域よりもどれほど・どのように切り分けられているのかを調査する．特に算術計算問題をとりあげ，これらのデータの内部表現空間における分布を分析する．実験結果から，算術計算など言語一般とは異なるデータは入力層付近でただちに分離され，また計算式と算数文章題のように似た思考を要する問題同士ですら，どこかの層で同じ領域を占めることはないことが示唆された．すなわち，算術計算と言語の領域は分離されているものの，計算のための普遍的領域が存在するわけではなく，異なるタスク用に異なる数値計算領域が存在する，ある種冗長な様相であることが想定される．