日本語追加学習はLLMの内部表現をロバストにするか：コミュニティ分類における回路・SAE分析

大規模言語モデルの内部メカニズム解明は重要な研究課題である.本研究では日本語コミュニティ分類タスクを対象に,同一アーキテクチャで日本語追加学習の有無のみが異なる日本語版(gemma-2-2b-jpn-it)とベース版(gemma-2-2b-it)の内部メカニズムを比較分析した.分類性能は同等にもかかわらず,日本語版は広範囲に分散した回路構造とLabel-speciﬁcなSAEfeatureを多く持つ一方,ベース版は後半層に集中した回路でSharedfeatureに依存する傾向が見られた.さらに,ベース版が少数手掛かりへ依存し脆弱であるのに対し,日本語版は多様な手掛かりを用いfeatureknockoutへの耐性と表記ゆれへの頑健性が高いことを示した.日本語追加学習により,日本語の多様な表現に対応するロバストな特徴構造の形成が促進される可能性が示唆された.