スパースオートエンコーダ（SAE）は，言語モデル（LM）の活性化空間を疎な特徴へ分解し，内部表現の分析・解釈を可能にする有力な手法である．一方で，SAEは事後学習を必要とするため，有用性や内的妥当性を損なう課題が残る．本研究ではこの課題に対処するため，TransformerLMの各層の出力にTopK活性化関数を組み込んだTopKLMを提案する．TopKLMは，事後的なSAE学習を不要としつつ，SAEに類する解釈可能性を実現する新しい基盤モデルである．単純なアーキテクチャ変更にもかかわらず，TopKLMは元来の能力を維持したまま解釈可能性という利点を提供する．これにより，LMが概念をいかに学習し表現するかを理解するための安定で信頼できる基盤となり，LMの解釈可能性に関する研究を前進させることが期待される．

スパースオートエンコーダ(SAE)[1–3]，とりわけTopKSAE[4]は言語モデル(LM)の内部表現を解釈するための重要な手法である[5–8]．しかし，その有用性および内的妥当性を低下させるいくつかの欠点を抱えている．SAEは事後的に学習され，入力を完全には再構成できないため疎性と再構成忠実度の間にトレードオフが生じる[4,9]．また事後学習であるがゆえに，たとえばGoldenGateBridgeという概念を符号化する特徴[3]が得られない場合，それが(a)学習過程においてSAEが当該特徴の発見に失敗したためなのか，(b)基盤となるLM側に表現が存在しないためなのか[10,11]の判別が困難である．加えて，事後学習を要することに起因して初期条件への感度も高く，同一のLMの隠れ状態に対して学習したとしても乱数シードが異なるSAEは異なる特徴を学習し得ることが報告されている[12]．これらの欠点は，SAEを用いてモデルの学習ダイナミクスを分析する際に一層深刻となる[13,14]．TopKLMBaseLMe.g.,n-nontopk=1非TopK層vs.非TopK層TopK層非TopK層非TopK層TopK層Hyperparameterse.g.,topk-k=2topk-kSparse各層で保持される最大の活性化値の数kが小さいほどスパース性が高いTopK活性化関数↑Densen-nontopkスパース化せずに標準的なTransformerブロックとして保持される最終層の数残差接続MLP的な解釈可能性を実現したLM．TopK層では上位𝑘個の値のみを選択的に活性化させることで疎性を導入し，最終層では密な処理を維持する．本研究の目的は，事後学習を必要とせず，内在的に解釈可能なLMアーキテクチャを設計することである．具体的には，TransformerLMの各層の出力活性値においてTopK活性化関数を適用するだけで，SAE類似の疎性を実現する．TopK活性化は，単純であるにもかかわらず極めて有効な疎性制約であることが示されている[4]．得られたTopKLMは，密活性化モデルと同程度の性能を維持しつつ，SAE的な解釈可能性を提供する．以上より，本研究の貢献は以下のとおりである．•疎活性化を用いた新たなTransformerLMアーキテクチャであるTopKLMを提案する．•高い疎性の下でもTopKLMはベースラインLMに匹敵する性能を保つことを示す．•TopKLMの解釈可能性をニューロンの単一概念特化性，因果的介入性の観点から提示する．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).ARC-Challenge，WinoGrande，OpenBookQA，HellaSwag）およびそれらの平均（AVG）における正解率（↑）を，層数𝐿∈{8,16,24}のベースラインLMおよびTopKLMモデルについて示す．また，ベースラインLMの隠れ次元は𝐷=1024，TopKLMは𝐷=3072である．𝐿BaselineModelsTopKModelsSemanticEntropy44