言語モデルの再利用のスケーリングに対する悪影響

大規模言語モデル（LLM）のゼロからの学習には莫大な計算資源と時間が必要です。この課題に対し、既存の学習済みモデルを「再利用」する戦略が注目されています。これには、特定のドメイン性能を高める継続学習（CPT）や、既存モデルのパラメータを流用してモデルサイズを拡大するモデル拡張（ModelGrowth）が含まれます。しかし、ベースモデルが「過学習（過剰なトークンで学習）」されている場合、その高度に最適化されたパラメータが、拡張後の探索や新データへの適応を困難にし、第2段階の学習速度を低下させることが直感的に予想されます。本論文では、このスケーリング特性を定量化しました。技術的には、本研究の主な貢献は以下の通りです。•広範な実証実験の実施:さまざまなモデルサイズ、学習トークン数、データセットを組み合わせ、計450回以上の実行（ラン）に及ぶ大規模な実験を行いました。これにより、継続学習（CPT）やモデル拡張（ModelGrowth）といった既存モデルを再利用した事前学習のスケーリング挙動を詳細に調査しました。•新しいスケーリング則の提唱:幅広い設定において、以下の経験的なスケーリング関係式が成立することを発見しました。𝐿(𝐷1,𝐷2)=𝐴𝐷−𝛼11𝐷−𝛼2+𝛼3log𝐷1