本研究は，大規模言語モデル（LLM）が文書のトピック情報を内部でどのように表現しているかを分析することを目的とする．LLMの中間層表現をSparseAutoencoder（SAE）により分解し，得られた潜在特徴に対して潜在的ディリクレ配分法（LDA）を適用することで，内部特徴と文書トピックとの対応関係を検証した．実験の結果，得られたトピック分布は文書ラベルと一定の対応を示した一方，同一ラベル内でも複数の異なるトピック分布が存在し，またトピック間の距離構造は文書ラベル間の類似性を必ずしも反映しないことが明らかとなった．これは,LLMにおける文書トピック表現が，人間が定義する意味的カテゴリより細かく,微細なニュアンスを捉えたものになっている可能性を示唆する．

大規模言語モデル（LLM）は，自然言語処理の多くのタスクにおいて高い性能を示している一方で，ハルシネーションやバイアスといった問題が指摘されている[1]．これらの問題に対処し，LLMを安全かつ信頼可能に利用するためには，モデル内部の表現や出力根拠を人間が解釈可能な形で理解することが重要である．解釈性研究の文脈においては,単一のニューロンが複数の無関係な概念に反応する「多義性」が大きな課題として知られている[2].この問題に対処する手法として,SparseAutoencoder（SAE）[3,4]が提案されており,LLMの内部表現を高次元かつ疎な潜在空間に分解することで,多義的なニューロン表現を単一概念に対応する特徴へと分離することが可能であることが示されている[5].これにより,概念レベルでの解釈性は一定程度向上している.一方で，SAEによって抽出された多数の潜在特徴が，文書全体の意味構造，とりわけ文書レベルのトピック情報をどのように表現しているかについては，十分に明らかにされていない．先行研究では，意味的に近い特徴同士が潜在空間上で局所的な近傍構造を形成することが示唆されている[6]が，これらの特徴群と文書トピックとの対応関係は体系的に検証されていない．本研究では，SAEによって抽出された特徴の共起構造には，文書トピックを反映した潜在的な構造が存在するという仮説を立てる．この仮説のもと，SAE特徴の共起情報に対して潜在的ディリクレ配分法（LDA）[7]を適用し，得られたトピックと文書ラベルとの対応関係を分析することで，LLM内部における文書トピック表現の性質を明らかにすることを目的とする．