LLM事前学習の効率化と性質改善：埋め込み層および出力層のパラメータ固定による再利用

LLMの効率的な段階的事前学習法を提案する．提案法では，事前に適切な埋め込み層と出力層のパラメータを獲得し，それを初期値として再利用した上で固定して事前学習をする．この手順を取ることで，標準的な事前学習より計算量およびメモリ要求量を削減可能であることを示す．また，事前に獲得した埋め込み層と出力層の単語ベクトルとしての性能が標準的な事前学習で得られる表現よりも優れており，それがLLMの最終的な性能向上に寄与する可能性があることを示す．