既存の学習済みモデルを継続学習やモデル拡張に再利用することは、ゼロからモデルを学習するコストを削減する手法として期待されています。しかし、特に「過学習」のベースモデルを再利用した場合の有効性は不明でした。本研究では、モデル再利用のスケーリング特性を経験的に調査し、スケーリング効率が予測可能な形で減衰することを発見しました。具体的には、第2段階の学習トークン数に対するスケーリング指数は、ベースモデルの学習トークン数の対数に比例して減少します。この飽和効果は、シンプルなスケーリング則によって正確にモデル化できます。この知見は、ベースモデルを学習させればさせるほど、追加学習の恩恵が少なくなるというトレードオフを浮き彫りにし、効率的な言語モデル学習に向けた実践的な指針を提供します。

大規模言語モデル（LLM）のゼロからの学習には莫大な計算資源と時間が必要です。この課題に対し、既存の学習済みモデルを「再利用」する戦略が注目されています。これには、特定のドメイン性能を高める継続学習（CPT）や、既存モデルのパラメータを流用してモデルサイズを拡大するモデル拡張（ModelGrowth）が含まれます。しかし、ベースモデルが「過学習（過剰なトークンで学習）」されている場合、その高度に最適化されたパラメータが、拡張後の探索や新データへの適応を困難にし、第2段階の学習速度を低下させることが直感的に予想されます。本論文では、このスケーリング特性を定量化しました。技術的には、本研究の主な貢献は以下の通りです。•広範な実証実験の実施:さまざまなモデルサイズ、学習トークン数、データセットを組み合わせ、計450回以上の実行（ラン）に及ぶ大規模な実験を行いました。これにより、継続学習（CPT）やモデル拡張（ModelGrowth）といった既存モデルを再利用した事前学習のスケーリング挙動を詳細に調査しました。•新しいスケーリング則の提唱:幅広い設定において、以下の経験的なスケーリング関係式が成立することを発見しました。𝐿(𝐷1,𝐷2)=𝐴𝐷−𝛼11𝐷−𝛼2+𝛼3log𝐷1