大規模言語モデルの再パラメタ化に基づく初期化による損失スパイクの抑制

大規模言語モデル（LLM）の事前学習では，損失関数値が突然発散してしまう損失スパイク現象が知られている[1,2]．損失スパイクは，小さな学習率を設定する必要が生じてLLMの性能が劣化する，時に完全に発散し学習を失敗させる，といった点から，LLM事前学習の大きな課題である．本研究では，損失スパイクを説明するため，パラメータの更新比率∥Δ𝑾∥/∥𝑾∥を定義する．ここで，𝑾はパラメータ，Δ𝑾は1時刻における更新量である．更新比率はパラメータが相対的にどの程度激しく更新されるかを示す．ある𝑾𝑖の更新比率が極端に大きい場合，𝑾𝑖で更新が安定するように学習率を小さい値に設定するか，他のパラメータの更新を優先して𝑾𝑖の急激な更新を許容するか，が必要になる．よって，更新比率はモデル全体である程度の範囲に収まることが好ましい．しかし，LLMの事前学習において更新比率はパラメータによって大きく異なる．図1に学習初期の損失関数値，最終down-projection層の重み𝑾𝑑とup-projection層の重み𝑾𝑢の更新比率を示す．学習8Proposed:LossBaseline:Loss76543