大規模言語モデル内における文法回路と計算回路の重なり

言語モデルは，文法的に正しい文章の生成といった狭義の言語能力（形式的言語能力）を超えて，論理推論のような必ずしも自然言語を必要としない能力（機能的言語能力）までも発揮している[1]．このような一見領域の異なる能力が同一のモデル内においてどのように組み込まれているかといった問いは，科学的な関心から，言語モデル解釈可能性の分野で近年扱われている[2,3]．また神経科学分野では，人間の脳処理に関しても，機能局在性の観点から同様の問いが提起されており，脳機能イメージング技術や神経活動計測技術等を駆使して研究されている．例えばfMRIを用いたいくつかの研究では，文法性に対して反応する脳領域が，計算や推論，音楽等に反応する領域とは異なっていることが主張されている[4,5,6]．本研究では数量を機能的言語能力の例として扱い，計算を含む入力が，計算を含まない入力と比較回路の抽出課題:MathExpressionParsingクリーン:Thebracketedformof2*1+3is(2*1)+3破損:Thebracketedformof2+1*3is2+(1*3)課題:SentenceParsingクリーン:TheresultofsyntacticparsingforHardstudentsstudy.is(Hardstudents)study.破損:TheresultofsyntacticparsingforStudentsstudyhard.isStudents(studyhard).EdgeAttributionPatching・統合勾配・Top2.5%エッジ回路の分析IoU:構造的な重なりFaithfulness:能力的な重なりThebracketedformof2*1+3islogit_diff(‘(’,2)単語が異なるペアデータを生成し，回路分析手法を用いてペア条件間のロジット差に寄与する課題の固有の回路を同定する．次にこれらの課題間の回路の重複部分を分析する．してどのようにモデル内部で処理されているかを分析する．両領域が干渉しているかもしれないと考える動機としては，例えば(Thecutecat)sleepsと(2*3)+1，Thecat(deeplysleeps)と2+(3*1)といった対比のように，文・数式はともに階層構造を持つことが挙げられる．また経験的に，計算式やコードで事前学習したモデルが，自然言語処理課題で高い性能を示すことも知られており，両処理能力が干渉している可能性が示唆されている[7,8,9]．実験では，文法性判断課題から計算課題まで複数の課題を設定し，言語モデルの解釈可能性領域で用いられる回路分析手法を用いてモデル内部における回路の重なりを比較する(図1)．とりわけ，計算課題や，同様の計算式を単にスペルアウトする課題，計算式の構文解析課題，計算式と同じ構造の自然言語文に対する構文解析課題など，入力の語彙分布や課題の複雑さを統制した課題を段階的に設定し，回Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).算列に✓が着いているものを計算関連課題，ついていないものを言語処理課題として扱う．課題名入力出力分野計算出力種別計算Theanswerto‘2*1+3=’is5数式✓アラビア数字計算（書き下し式）Theanswerto‘twotimesoneplusthreeequals’isﬁve数式✓英単語（数字）書き下しThespelloutversion‘2*1+3=’istwotimesoneplusthree数式英単語（数字）数式化Thenumericalformulafor‘twotimesoneplusthree’is