SparseAutoencoder(SAE)はLLM内部の処理を解釈するためのツールとして広く用いられている。しかし、異なる初期値で訓練したSAEでは異なる“特徴”が学習されることが報告されている。この問題を解決してSAEの学習を安定化させるためには、SAEの良い初期値を設定する必要がある。本研究ではSAEの初期値としてTransformer層のMLPのデコーダを用いる手法としてSAE-MDを提案する。実験の結果、SAE-MDは既存のSAEと同等の性能を有し、学習の安定性を向上できることを確認した。

大規模言語モデル(LLM)の発展に伴い、LLMの出力に対する安全性の追求やさらなる改良のため、モデル内部での情報の処理方法を明らかにする試みが数多くなされている[1,2]。そのような試みの一つがSparseAutoencoder(SAE)である[3,4,5]。SAEは、LLM内部の情報を“特徴”（≈人間の解釈可能な概念）としてニューロン一つ一つに対応付けることを目的とした手法である。SAEのニューロンの発火の様子を見ることで、SAEが獲得した“特徴”を用いてLLMの内部の処理を解釈できるようになる。しかし、異なる初期値で訓練したSAEでは異なる“特徴”が学習されることが報告されている[6]。この事実はSAEがいくつかの“特徴”を捉えきれない、あるいは逆にノイズなどの無関係な“特徴”を捉えてしまっている可能性を示唆している。このような不安定なSAEを用いてLLMの挙動を解釈しても、その解釈結果が不正確である懸念が残る。SAEがLLMの主要な解釈手段の一つとなっている現在において、その不安定性の解消は喫緊の課題である。SAEの初期値への強い依存性を解消し、“特徴”の学習を安定化させるためには、SAEの良い初期値を設定する必要がある。そこで、本研究ではSAEの初期値としてTransformer層のMLPのデコーダを用いることを提案する。本研究の着眼点は、MLPのデコーダのベクトルの和として記述されているLLMの埋め込み表現を、SAEは改めて複数のベクトルの和として記述し直していると解釈する点にある。この事実はMLPのデコーダがSAEのデコーダとして有用であることを示唆している。実験の結果、MLPのデコーダを初期値に用いたSAEは既存のSAEと同等の性能を有しつつも、学習の安定性を大きく向上できることを確認した。