モデル拡張を用いた段階的事前学習によるモデル系列の効率的な構築

大規模言語モデル(LLM)が実応用で幅広く活用されるなかで，異なるパラメータ数の複数のモデル(以下，モデル系列)を，構築・提供することが一般的となっている．モデル系列の提供は，多様な計算資源の制約や用途に対応するための重要なアプローチとなっている．例えば，Llama2では7B，13B，70Bのモデル[1]が，Qwen2では0.5B，1.5B，7B，72Bのモデル[2]が公開されている．小規模なモデルは，日常的なタスクにおける効率的な処理と高速な応答を備えつつ，スマートフォンやエッジデバイスといった計算資源の制約が厳しい環境での展開を可能にする[3]．一方，大規模なモデルは，高度な推論能力や複雑なタスクの処理が求められる場面で使用され，通常は大規模なサーバ上に配備される．このように異なる特性を持つモデルを系列として提供することで，ユーザからの幅広い要求に応えることが可能である．こうしたモデル系列の構築では各サイズのモデルを個別にスクラッチから学習する手続きが一般的で…………………………2B⽤の計算量2B⽤の計算量2Bモデルモデル拡張…………………………4B⽤の計算量4B⽤の計算量4Bモデルモデル拡張…………………………8B⽤の計算量8B⽤の計算量8Bモデル(a)⼀般的な構築⼿続きモデル系列にある各モデルを個別に学習総計算量は各モデルの計算量の合計(b)本研究での構築⼿続きモデル拡張を利⽤し，モデル系列のモデルを効率的に構築総計算量は最⼤サイズモデルの計算量のみ究での構築手続き(右図(b))の概要図．．あり，必要な計算資源は単純に加算的に増加していく．特に大規模モデルの学習には数千GPU日という計算資源を要する[4]ため，モデル系列を開発する際の総計算コストは研究機関や企業にとって大きな負担となっている．大規模モデルの学習に要する計算コストを削減する手法として，学習済みの小規模モデルを拡張して大規模モデルの初期値とする手法が注目されている[5,6]．本研究では，この手法を繰り返し適用することで，小規模モデルから大規模モデルへの段階的な構築を行い，モデル系列構築の総訓練コストを削減する手法を提案する(図1)．実験により，提案手法では，個々のモデルを個別に構築する場合よりも少ない計算コストでモデル系列を得られることを示す．また，モデルサイズに応じた学習率の段階的な調整により，提案手法により構築したモデル系列は，個別に構築したモデルと同等以上の性能を達成可能であることを示す．加えて，構築したモデル系列に対してSFTとDPOによる事後学習を実施し，提案手法の有効性が事後学習後も維持されることも示す．.