突出次元の特性および発生要因に関する考察

近年，大規模言語モデルは様々なサービスにおいて広く活用されており，それに伴って多様な言語モデルやその応用手法に関する研究が活発に行われている．一方で，言語モデルの内部表現や計算過程といった内部メカニズムについては依然として十分に解明されていない．Transformer[1]においては，ごく少数の次元が他と比べて極端に大きな値を取る現象が確認されており[2,3]，その発生要因については不明な点も多い．このような突出次元は，量子化やアーキテクチャ設計，最適化手法を考える上で無視できない現象であり，その性質や発生要因を明らかにすることは重要である．本研究では，Transformerベースの言語モデルに見られる隠れ状態の外れ値について，その形成過程および発生要因を分析する．まず，複数の言語モデルを対象に，突出次元がどのように発生・推移するのかを調査する．次に，学習過程を追跡することで，突出次元が学習初期から出現することを確認する．さらに，Attention[1]，MLP，LayerNormalization[4]といった各モジュール別の分析を通して，LayerNormalizationが突出次元の形成に強く関与している可能性を示す．最後に，LayerNormalizationをDynamicTanh[5]に置き換える実験を行い，LayerNormalizationが突出次元の直接的な発生要因であることを示す．