突出次元の特性および発生要因に関する考察

Transformerベースの言語モデルでは，ごく少数の次元が他と比べて極端に大きな値を示す現象が確認される．しかしながら，その発生要因は十分に理解されていない．本研究では，言語モデルの隠れ状態に現れる突出次元に着目し，その形成過程と発生要因を分析する．具体的には，複数の言語モデルを対象に，突出次元がどのように発生・推移するのかを調査するとともに，学習過程の解析を通じて，突出次元が学習初期から出現することを示す．また，LayerNormalizationを他のモジュールに置き換えた実験により突出次元が消失することが確認され，LayerNormalizationが突出次元の直接的な発生要因である可能性が示唆された．