スパースオートエンコーダーを用いた大規模言語モデルのチェックポイント横断分析

大規模言語モデルは優れた多言語能力と広範な知識を有するが，これらの能力が内部的に形成される過程は定かでない．本研究ではこの疑問を解明するため，モデルの内部表現に含まれる情報が学習経過に伴いどう変化していくかを分析する．具体的には，モデルのチェックポイント別にスパースオートエンコーダーを学習し，その解釈結果をチェックポイント横断で比較する．実験の結果，大規模言語モデルは言語を個別に学習した後に言語間の対応関係を学習すること，トークンレベルの知識を学習した後に抽象度の高い概念レベルの学習をすることが明らかとなった．