LLMの内部状態から原子的特徴を抽出しその動作原理を解釈する試みが数多く行われてきたが，従来法は単一サンプルに対して正則化を課したオートエンコーダに依存し，サンプル間での全体的スパース性を保証できない.その結果，不活性・高頻度特徴が生成され，スパース性が損なわれる.本研究では，特徴のスパース性を高めるため，隠れ活性のミニバッチ単位でエントロピーを最小化する新しい自己符号化器を提案する.効率化のため，活性をステップ関数で1ビットに離散化し，勾配推定によって逆伝播を実現する.この手法を二値化スパースオートエンコーダ（BAE）と呼び，特徴集合のエントロピー削減とスパース分解への有効性を示す1）．

LLMの内部表現から数値的要素（特徴）を個別に抽出・分離するための既存の手法として，スパースオートエンコーダ（SAE）[1]のように，訓練時に𝐿1正則化などの制約を課して隠れ表現の活性を抑え，特徴をサンプルごとに自動的に原子化する方法が一般的である．しかし，このような手法は全体的なスパース性を保証しないため，頻繁に活性化される（dense）特徴と，全く活性化されない（dead）特徴が混在する傾向がある[2,3,4]．これは機械論的解釈可能性研究におけるスパース性仮定[5]と矛盾し，サンプル間で広範に活性化する特徴は一貫した意味解釈を困難にし，さらにdead特徴の存在によってパラメータ効率も低下する．したがって本研究では，上述の問題を解決するために，訓練インスタンスのミニバッチ間における情報理論的制約を導入した二値化スパースオートエンコーダ（BAE）を提案する．図1に示すように，我々はミニバッチ全体の隠れ層のエントロピーを最小化する目的関数を設計し，特徴間の共変動を抑制1）本論文の完全版はhttps://arxiv.org/pdf/2509.20997からアクセスできる.しつつ，全体的なスパース性を強制することで頻繁に活性化される特徴を抑える．しかし，一般的な隠れ層は実数ベクトルであり，そのエントロピーの計算には高次元の数値積分が必要となるため，計算複雑性が指数的に増大してしまう[6]．そこで我々は隠れ層を二値化して丸め，この二値ベクトル上でエントロピーを計算することにより，計算コストを大幅に削減し，さらに勾配推定法[7]を用いて，この丸め操作に対しても逆伝播を可能にする．本研究ではBAEの有効性を応用的観点から実証的に示す．本研究の貢献は次の二点に要約される．(1)隠れ状態集合からのエントロピーの効率的推定．入力集合を再構成するためのエントロピーを，隠れ層のエントロピーとして大幅に低コストで推定でき，これはLLM内部の動作を理解する上で重要な指標となる．異なる真値エントロピーをもつ人工データセット上の実験により，この推定の精度を確認した．さらに，通常の言語モデルにおける前向き計算過程の中に存在するエントロピー変動を分析し，各層における情報帯域幅や暗黙的なコンテキストウィンドウを明らかにした．(2)スパースな特徴抽出．通常のSAEと同様に，オートエンコーダの第2層における線形ベクトル（しばしばdictionaryと呼ばれる）は，入力から抽出された原子的特徴として機能する．SAEでは，サンプル単位の正則化に起因して特徴が密に活性化される[2,3,4]．これに対し，BAEはミニバッチ単位のエントロピーに基づく学習目的と，各チャネルの情報利得に基づく一貫した活性スケーリングにより，dense特徴とdead特徴の両方を効果的に抑制し，より多くの活性で可解釈な特徴を抽出する．さらに，我々は従来の特徴解釈手法[8,9]を改良し，LLMによる数値トークンの不安定な処理[10]を回避することで，より頑健な自動特徴解釈を実現した．