言語モデルの再利用のスケーリングに対する悪影響

既存の学習済みモデルを継続学習やモデル拡張に再利用することは、ゼロからモデルを学習するコストを削減する手法として期待されています。しかし、特に「過学習」のベースモデルを再利用した場合の有効性は不明でした。本研究では、モデル再利用のスケーリング特性を経験的に調査し、スケーリング効率が予測可能な形で減衰することを発見しました。具体的には、第2段階の学習トークン数に対するスケーリング指数は、ベースモデルの学習トークン数の対数に比例して減少します。この飽和効果は、シンプルなスケーリング則によって正確にモデル化できます。この知見は、ベースモデルを学習させればさせるほど、追加学習の恩恵が少なくなるというトレードオフを浮き彫りにし、効率的な言語モデル学習に向けた実践的な指針を提供します。