スパースオートエンコーダーを用いた大規模言語モデルのチェックポイント横断分析

大規模言語モデル（LargeLanguageModels;LLMs）が驚異的な性能を発揮するにつれ，モデルが知識や思考を内部的にどのように表現し，処理しているかへの関心が高まっている[1]．大規模言語モデル内の表現が次元数以上の情報を持ちうること（Superposition）が，高い能力を発揮する一つの要因になっている一方で，内部表現の分析を困難にする原因にもなっている[2]．このような多義的な内部表現を理解する手法の一つとして，内部表現を少数の単一意味表現（Feature）の重ね合わせに分解するスパースオートエンコーダー（SparseAutoEncoder;SAE）がある[3,4]．どのようなトークン系列をLLMsに入力した時に，各意∗共同最終著者．含む情報）が学習経過でどう変化していくか．味表現（Feature）が再構成に使用されるかを分析することで，内部表現が捉えている情報を解釈することができる．近年ではこれを応用し，内部表現の層間[5,6]・モデル間[7,8]・ファインチューニング前後[8,9]での比較分析が行われ，大規模言語モデルの内部機序に対する知見が蓄積されている．しかし，学習過程において，大規模言語モデル内部がどう変化しているかは未だ明らかでない部分が多い．大規模言語モデルの驚異的な言語汎化能力が形成される過程を深く理解するためには，モデルの入出力だけでなく，モデル内部がどう進化しているかも理解することが重要である．本研究では，SAEを大規模言語モデルの複数チェックポイントでそれぞれ学習し解釈結果の比較を行う．各SAEが捉えている意味表現の傾向が学習経過でどう変化するかを分析することで，大規模言語モデルが内部的に捉える情報がどう進化していくかを可視化する．実験の結果，大規模言語モデル.は言語を個々に学習した後に，言語間の共通意味を習得する（4.3章）こと，トークンレベルの情報を学習した後に，概念レベルの抽象度の高い知識を習得する（4.4章）ことを定量的・定性的に確認した．