LLMの効率的な段階的事前学習法を提案する．提案法では，事前に適切な埋め込み層と出力層のパラメータを獲得し，それを初期値として再利用した上で固定して事前学習をする．この手順を取ることで，標準的な事前学習より計算量およびメモリ要求量を削減可能であることを示す．また，事前に獲得した埋め込み層と出力層の単語ベクトルとしての性能が標準的な事前学習で得られる表現よりも優れており，それがLLMの最終的な性能向上に寄与する可能性があることを示す．

大規模言語モデル（LLM）の性能は訓練データ量とパラメータ数に大きく依存する[1]．その結果，LLMの事前学習には大量の計算資源を必要とし，容易にLLM構築に関連する研究に取り組むことができない状況にある．この状況を打破するため，より効率的な事前学習の方法が求められる.効率的な事前学習を求め，計算量とメモリ使用量を削減する方法がそれぞれ提案されている．計算量を削減するために，段階的な学習を用い，事前学習の前段階でモデルの適切な初期値を取得し，それを再利用する方法が提案されている[2,3,4]．学習時のメモリ使用量を削減する方法として，一部のパラメータを固定する代わりに，少数のパラメータを代理として訓練する方法が提案されている[5,6,7]．本研究では，埋め込み層および出力層のパラメータ固定を伴う再利用による二段階学習を提案する．これは，概念的には前述した事前学習の前段階としてモデルの適切な初期値を取得する方法の亜種と言える．提案法の特色は，LLMで用いられるTransofrmerの中間層は同一のTransformer層の繰り返しで構成されているのに対し，埋め込み層と階学習．ステージ1で構築した埋め込み層と出力層をステージ2で再利用かつ固定し学習する．出力層は中間層の構造と比較すると特別な構造と見做すことができる．このモデル構造の観測から，Transformerのモデル構造において，特別な構造となっている埋め込み層と出力層を事前に適切に学習して用意できれば，同一の構造の繰り返しである中間層はより容易に学習できるようになり，結果的に学習効率が上がるのではないかという仮説に基づいて考案された方法となる．提案法を標準的な事前学習法と比較した結果，計算量とメモリ使用量を削減可能であると示された．さらに，構築した埋め込み層と出力層の埋め込み表現は単語ベクトルとして性能が標準的な事前学習で得られる表現よりも優れているという結果が得られた．この分析結果より，埋め込み層および出力層の単語ベクトルとしての性能が，LLMの性能に寄与する可能性があるという新たな知見が得られた．