事前学習における学習率スケジューラが事後学習後の性能に与える影響

学習率スケジューラは、大規模言語モデル（LLM）の事前学習において、重要な要素の一つである。Cosineスケジューラはこれまで数多くのモデル[1,2,3]で採用されてきたが、継続事前学習などの学習パラダイムにおいては、減衰後の値からヒューリスティックに学習率を調整する必要があるため、柔軟性に欠ける[4,5]。この柔軟性の欠如に対処するため、近年の研究ではWarmup-Stable-Decay（WSD）という手法が提案されている。これは事前学習の大部分で学習率を一定に保ち、終盤のみ短時間にわたって減衰させる手法である[6,7,8]。これらの学習率スケジューラは、いずれも事前学習モデルの性能最適化を目的として学習率を減衰させている。しかしながら、実際の応用において、より重要なのは教師あり微調整（SupervisedFine-Tuning:以降本稿ではSFTと記す）などの事後学習後の性能である。近年の研究結果[9,10]によれば、強力な事前学習モデルが必ずしもSFT後の優れた性能を保証しないことが示されている。このことは、事前学習時の性能向上を目的とした学習率減衰が、必ずしもSFT後のモデルにとって良好な選択ではない可能性を示唆している。本研究では、事前学習段階における適切な学習率スケジューラの選択について、SFT後の性能という観点から実証的に検討する。特に、学習率減衰を伴わないWarmup-Stable-Only（WSO）スケジューラを導入する。この方法ではWSD（Warmup-Stable-Decay）スケジューラの減衰期間を省略し、学習率を最後まで一定値に維持する。実験結果から、WSOスケジューラは学習率減衰型スケジューラと比較して、1Bおよび8Bモデルの両方においてSFT後の性能が一貫して優れていることが確認された（図1）。これらの知見は、事前学習時の評価指標最適化を目的とした学習率減衰が、必ずしもSFT後の下流タスク性能向上につながらないことを示している。さらに、WSOスケジューラは減衰期間を必要としないため、実装が簡便でありながら、学習パイプライン全体を通じた最終性能の向上をもたらす。これらの結果は、高い適応性を持つLLMを構築する上で、WSOが従来の学習率減衰型スケジューラに代わる有望な選択肢となり得ることを示唆している。