大規模言語モデルの再パラメタ化に基づく初期化による損失スパイクの抑制

大規模言語モデル(LLM)の事前学習中に損失関数値が突然発散してしまう損失スパイクがLLM事前学習の課題である．本研究は，パラメータのノルムに対するパラメータ更新量のノルムの相対値であるパラメータの更新比率がモデル内で不均一であり，この不均一性が損失スパイクの一因であることを指摘した．本研究は，全てのパラメータにゲートパラメータを導入し，共通の標準偏差によって初期化することを提案した．提案手法が，13BモデルのLLMの事前学習においてモデル内の更新比率を均一化し，損失スパイクを抑制することを確認した．