日本語追加学習はLLMの内部表現をロバストにするか：コミュニティ分類における回路・SAE分析

大規模言語モデル(LLM)は自然言語処理の様々なタスクで高い性能を示している.しかし,LLM内部の処理は依然ブラックボックスであり,その解明は重要課題である.近年,SparseAutoencoder(SAE)を用いた特徴量抽出により,LLM内部の解釈可能な表現を取り出す研究が進展している[1].Nikankinら[2]は計算タスクでﬁne-tuningしたLLMを分析し,モデルが多数の手掛かり（ヒューリスティック）で解空間を段階的に絞り込んでいる可能性を示唆した.しかし,意味理解を要するタスクでも同様のメカニズムが働くか,また言語追加学習がこの手掛かり依存構造に影響を与えるかは未解明である.本研究では,この問いに答えるためテキスト分類タスクを分析対象とする.具体的には,オンラインコミュニティへの投稿文から,その投稿が属するコミュニティを推定する分類タスクを扱う.このタスクは,投稿内容の意味を理解し,コミュニティごとの特徴（話題,文体,専門用語など）を捉える必要がある.データセットとしてはコミューン株式会社が運営するサービスCommuneの日本語コミュニティ投稿データを用いる.ただし,1つのモデルのみを分析した場合,観察されるメカニズムがタスク由来か,モデルの言語処理能力に由来するかを切り分けることが難しい.本研究では日本語タスクを扱うため,日本語処理能力が異なるモデル間で比較を行えば,言語処理能力がメカニズムに与える影響を識別できる.そこで,同一アーキテクチャで日本語追加学習の有無のみが異なる日本語版(gemma-2-2b-jpn-it)とベース版(gemma-2-2b-it)の2モデルを比較する[3].日本語版は,ベース版に対して日本語テキストでﬁne-tuningを施したモデルである.両モデルで共通するメカニズムはタスク由来,差異として現れるメカニズムは日本語追加学習による変化と解釈できる.また,回路構造の分散性/局所性や手掛かり依存度を定量化する指標を導入し,ActivationPatching,SAE,featureknockout,ならびに手掛かり多様性・表記ゆれ分析を通じてモデル間で比較する.本研究の主な貢献は,(1)日本語追加学習により回路構造とLabel-speciﬁcFeatureの形成が変化することの発見,(2)featureknockoutと手掛かり多様性・表記ゆれ分析により,日本語版がロバストな冗長性を持つことを因果的に示したことである.これらの結果は,特定言語の追加学習が同言語のタスクに対するモデルの内部戦略に影響を与えることを示唆している.