スパースオートエンコーダーを用いた大規模言語モデルによる文書内トピック解釈の分析

本研究は，大規模言語モデル（LLM）が文書のトピック情報を内部でどのように表現しているかを分析することを目的とする．LLMの中間層表現をSparseAutoencoder（SAE）により分解し，得られた潜在特徴に対して潜在的ディリクレ配分法（LDA）を適用することで，内部特徴と文書トピックとの対応関係を検証した．実験の結果，得られたトピック分布は文書ラベルと一定の対応を示した一方，同一ラベル内でも複数の異なるトピック分布が存在し，またトピック間の距離構造は文書ラベル間の類似性を必ずしも反映しないことが明らかとなった．これは,LLMにおける文書トピック表現が，人間が定義する意味的カテゴリより細かく,微細なニュアンスを捉えたものになっている可能性を示唆する．