事前学習における学習率スケジューラが事後学習後の性能に与える影響

本稿では、大規模言語モデルの事前学習における学習率スケジューラについて、事後学習、特に教師あり微調整（SFT）後の下流タスク性能への影響に焦点を当てて検証する。本実験では、ウォームアップ期間終了後に学習率を一定に保つWarmup-Stable-Only（WSO）スケジューラを導入する。1Bおよび8Bパラメータモデルを用いた実験により、複数の学習率減衰型スケジューラと比較して、WSOスケジューラを用いたモデルがSFT後において一貫して良好な性能を達成することを示す。これらの知見は、事前学習の評価指標を改善するために学習率の減衰を適用することが、下流タスクにおける適応能力を損なう可能性があることを示唆している。