スパースオートエンコーダーを用いた大規模言語モデルによる文書内トピック解釈の分析

大規模言語モデル（LLM）は，自然言語処理の多くのタスクにおいて高い性能を示している一方で，ハルシネーションやバイアスといった問題が指摘されている[1]．これらの問題に対処し，LLMを安全かつ信頼可能に利用するためには，モデル内部の表現や出力根拠を人間が解釈可能な形で理解することが重要である．解釈性研究の文脈においては,単一のニューロンが複数の無関係な概念に反応する「多義性」が大きな課題として知られている[2].この問題に対処する手法として,SparseAutoencoder（SAE）[3,4]が提案されており,LLMの内部表現を高次元かつ疎な潜在空間に分解することで,多義的なニューロン表現を単一概念に対応する特徴へと分離することが可能であることが示されている[5].これにより,概念レベルでの解釈性は一定程度向上している.一方で，SAEによって抽出された多数の潜在特徴が，文書全体の意味構造，とりわけ文書レベルのトピック情報をどのように表現しているかについては，十分に明らかにされていない．先行研究では，意味的に近い特徴同士が潜在空間上で局所的な近傍構造を形成することが示唆されている[6]が，これらの特徴群と文書トピックとの対応関係は体系的に検証されていない．本研究では，SAEによって抽出された特徴の共起構造には，文書トピックを反映した潜在的な構造が存在するという仮説を立てる．この仮説のもと，SAE特徴の共起情報に対して潜在的ディリクレ配分法（LDA）[7]を適用し，得られたトピックと文書ラベルとの対応関係を分析することで，LLM内部における文書トピック表現の性質を明らかにすることを目的とする．