二値化スパースオートエンコーダ

LLMの内部表現から数値的要素（特徴）を個別に抽出・分離するための既存の手法として，スパースオートエンコーダ（SAE）[1]のように，訓練時に𝐿1正則化などの制約を課して隠れ表現の活性を抑え，特徴をサンプルごとに自動的に原子化する方法が一般的である．しかし，このような手法は全体的なスパース性を保証しないため，頻繁に活性化される（dense）特徴と，全く活性化されない（dead）特徴が混在する傾向がある[2,3,4]．これは機械論的解釈可能性研究におけるスパース性仮定[5]と矛盾し，サンプル間で広範に活性化する特徴は一貫した意味解釈を困難にし，さらにdead特徴の存在によってパラメータ効率も低下する．したがって本研究では，上述の問題を解決するために，訓練インスタンスのミニバッチ間における情報理論的制約を導入した二値化スパースオートエンコーダ（BAE）を提案する．図1に示すように，我々はミニバッチ全体の隠れ層のエントロピーを最小化する目的関数を設計し，特徴間の共変動を抑制1）本論文の完全版はhttps://arxiv.org/pdf/2509.20997からアクセスできる.しつつ，全体的なスパース性を強制することで頻繁に活性化される特徴を抑える．しかし，一般的な隠れ層は実数ベクトルであり，そのエントロピーの計算には高次元の数値積分が必要となるため，計算複雑性が指数的に増大してしまう[6]．そこで我々は隠れ層を二値化して丸め，この二値ベクトル上でエントロピーを計算することにより，計算コストを大幅に削減し，さらに勾配推定法[7]を用いて，この丸め操作に対しても逆伝播を可能にする．本研究ではBAEの有効性を応用的観点から実証的に示す．本研究の貢献は次の二点に要約される．(1)隠れ状態集合からのエントロピーの効率的推定．入力集合を再構成するためのエントロピーを，隠れ層のエントロピーとして大幅に低コストで推定でき，これはLLM内部の動作を理解する上で重要な指標となる．異なる真値エントロピーをもつ人工データセット上の実験により，この推定の精度を確認した．さらに，通常の言語モデルにおける前向き計算過程の中に存在するエントロピー変動を分析し，各層における情報帯域幅や暗黙的なコンテキストウィンドウを明らかにした．(2)スパースな特徴抽出．通常のSAEと同様に，オートエンコーダの第2層における線形ベクトル（しばしばdictionaryと呼ばれる）は，入力から抽出された原子的特徴として機能する．SAEでは，サンプル単位の正則化に起因して特徴が密に活性化される[2,3,4]．これに対し，BAEはミニバッチ単位のエントロピーに基づく学習目的と，各チャネルの情報利得に基づく一貫した活性スケーリングにより，dense特徴とdead特徴の両方を効果的に抑制し，より多くの活性で可解釈な特徴を抽出する．さらに，我々は従来の特徴解釈手法[8,9]を改良し，LLMによる数値トークンの不安定な処理[10]を回避することで，より頑健な自動特徴解釈を実現した．