モデル拡張を用いた段階的事前学習によるモデル系列の効率的な構築

大規模言語モデルの実応用では，7B，13B，70Bといったパラメータ数の異なる複数のモデル（モデル系列）を提供することが一般的である．モデル系列の構築は，素朴には各サイズのモデルを個別に構築する必要があり，計算コストは加算的に増加する．本研究では，小さなモデルから段階的に学習を進め，サイズを拡張させながら，モデル系列を構築する手法を提案する．実験では，提案手法が計算コストを削減しつつ，個別にモデル系列を学習する場合と比較して同等以上の性能を達成できることを示す．