Transformerベースの言語モデルでは，ごく少数の次元が他と比べて極端に大きな値を示す現象が確認される．しかしながら，その発生要因は十分に理解されていない．本研究では，言語モデルの隠れ状態に現れる突出次元に着目し，その形成過程と発生要因を分析する．具体的には，複数の言語モデルを対象に，突出次元がどのように発生・推移するのかを調査するとともに，学習過程の解析を通じて，突出次元が学習初期から出現することを示す．また，LayerNormalizationを他のモジュールに置き換えた実験により突出次元が消失することが確認され，LayerNormalizationが突出次元の直接的な発生要因である可能性が示唆された．

近年，大規模言語モデルは様々なサービスにおいて広く活用されており，それに伴って多様な言語モデルやその応用手法に関する研究が活発に行われている．一方で，言語モデルの内部表現や計算過程といった内部メカニズムについては依然として十分に解明されていない．Transformer[1]においては，ごく少数の次元が他と比べて極端に大きな値を取る現象が確認されており[2,3]，その発生要因については不明な点も多い．このような突出次元は，量子化やアーキテクチャ設計，最適化手法を考える上で無視できない現象であり，その性質や発生要因を明らかにすることは重要である．本研究では，Transformerベースの言語モデルに見られる隠れ状態の外れ値について，その形成過程および発生要因を分析する．まず，複数の言語モデルを対象に，突出次元がどのように発生・推移するのかを調査する．次に，学習過程を追跡することで，突出次元が学習初期から出現することを確認する．さらに，Attention[1]，MLP，LayerNormalization[4]といった各モジュール別の分析を通して，LayerNormalizationが突出次元の形成に強く関与している可能性を示す．最後に，LayerNormalizationをDynamicTanh[5]に置き換える実験を行い，LayerNormalizationが突出次元の直接的な発生要因であることを示す．