大規模言語モデル(LLM)の事前学習中に損失関数値が突然発散してしまう損失スパイクがLLM事前学習の課題である．本研究は，パラメータのノルムに対するパラメータ更新量のノルムの相対値であるパラメータの更新比率がモデル内で不均一であり，この不均一性が損失スパイクの一因であることを指摘した．本研究は，全てのパラメータにゲートパラメータを導入し，共通の標準偏差によって初期化することを提案した．提案手法が，13BモデルのLLMの事前学習においてモデル内の更新比率を均一化し，損失スパイクを抑制することを確認した．

大規模言語モデル（LLM）の事前学習では，損失関数値が突然発散してしまう損失スパイク現象が知られている[1,2]．損失スパイクは，小さな学習率を設定する必要が生じてLLMの性能が劣化する，時に完全に発散し学習を失敗させる，といった点から，LLM事前学習の大きな課題である．本研究では，損失スパイクを説明するため，パラメータの更新比率∥Δ𝑾∥/∥𝑾∥を定義する．ここで，𝑾はパラメータ，Δ𝑾は1時刻における更新量である．更新比率はパラメータが相対的にどの程度激しく更新されるかを示す．ある𝑾𝑖の更新比率が極端に大きい場合，𝑾𝑖で更新が安定するように学習率を小さい値に設定するか，他のパラメータの更新を優先して𝑾𝑖の急激な更新を許容するか，が必要になる．よって，更新比率はモデル全体である程度の範囲に収まることが好ましい．しかし，LLMの事前学習において更新比率はパラメータによって大きく異なる．図1に学習初期の損失関数値，最終down-projection層の重み𝑾𝑑とup-projection層の重み𝑾𝑢の更新比率を示す．学習8Proposed:LossBaseline:Loss76543