二値化スパースオートエンコーダ

LLMの内部状態から原子的特徴を抽出しその動作原理を解釈する試みが数多く行われてきたが，従来法は単一サンプルに対して正則化を課したオートエンコーダに依存し，サンプル間での全体的スパース性を保証できない.その結果，不活性・高頻度特徴が生成され，スパース性が損なわれる.本研究では，特徴のスパース性を高めるため，隠れ活性のミニバッチ単位でエントロピーを最小化する新しい自己符号化器を提案する.効率化のため，活性をステップ関数で1ビットに離散化し，勾配推定によって逆伝播を実現する.この手法を二値化スパースオートエンコーダ（BAE）と呼び，特徴集合のエントロピー削減とスパース分解への有効性を示す1）．