モデル拡張によるパラメータ効率的なLLMの事前学習

大規模言語モデル（LLM）の事前学習は，モデルパラメータの多さからメモリ要求量の問題に直面する．本稿では，モデル拡張を用いたメモリ効率に優れた事前学習法であるSTEPを提案する．実験結果から，STEPを用いることにより，標準的な事前学習と比較して，最大で53.9%の最大メモリ要求量を削減しながら同等の性能を達成することを確認した．さらに，STEPにより訓練されたモデルが，下流タスクに対しても標準的に訓練されたモデルと同等の性能を達成することを示す．