大規模言語モデル事前学習の安定化

大規模言語モデルの事前学習では損失スパイクがしばしば起きることが知られている．損失スパイクはモデルの性能を低下させ，学習が失敗してしまうこともある．この損失スパイクの原因を探るため，本研究では中間層の勾配に着目する．理論的な分析を通じて，大規模言語モデルの事前学習ではLN層が勾配爆発を引き起こすこと，および，その解決法を示す．実験を通じてLN層の勾配爆発を抑制することで損失スパイクも抑制されることを示す．