Transformerに基づく大規模言語モデル(LLM)の構成要素の一つであるフィードフォワードネットワーク(FFN)に着目し，モデル内の配置場所に依存した重要度を検証する．具体的には，モデル全体のパラメータ数を維持したまま，一部の連続する層でFFNの中間次元を拡大し，残りの層からFFNを除去したモデル構成を用いて標準的なタスク性能を比較する．複数のモデルサイズで評価を行った結果，全層数の70–90%の連続した中間から後方の層にFFNを集中配置することで，複数の下流タスクでベースラインの性能を上回った．この結果からFNNは入力に近い層より中間から後方の層で特に重要であると示唆される結果が得られた．

Transformer[1]に基づく大規模言語モデル（LargeLanguageModel:LLM)では，各モデルによって詳細設計は異なるが，自己注意機構とフィードフォーワードネットワーク(Feed-ForwardNetwork:FFN)の二つを主な構成要素として一つのTransformer層を構成しているモデルが多い[1,2]．図1(a)にTransformer層を図示する1）．特にPre-LN[3]と呼ばれるTransformerのモデル構成の場合，これら2つを1層として計算された結果を層の数だけ入力層であるトークンの埋め込みベクトルに加算し，最終的な隠れ状態ベクトルを算出する計算手順になる．一般論として，自己注意機構は，主にトークンの埋め込みから得られた情報の混ぜ合わせを担っており，FFNは，学習データ内にある知識などを記憶することが主な役割と説明されることが多い[4,5,6]2）．知識がFFN層に埋め込まれていると1）本稿では，自己注意機構とFFNをまとめたTransformer層を略して「層」と表記する．また，層正規化は本研究では重要な要素ではないので，簡略化のため説明から除外する．2）現在は，それ以外の様々な機能や効果があることが検証により示されている[7]．いう仮説が正しいとした場合，FFNが知識を獲得する上で最もよい形式なのか，実際にTransformer内の複数ある層の中でどのあたりに知識が埋め込まれるのかなど未解明な事象も多い．そこで，本研究ではFFNに着目し，FFNを削除したモデルやFFNを大きくした設定など，いくつかの通常とは違う設定でLLMの事前学習を実施することで，FFNの役割や機能の一部を検証する．