残差ネットワーク
Transformerブロックは、2つの残差ブロックを積み重ねたものである。各残差ブロックは残差コネクションを持つ。最初の残差ブロックはマルチヘッドアテンションブロックであり、(自己)アテンション計算の後に線形投影を行う。
2番目の残差ブロックはフィードフォワード多層パーセプトロン(MLP)ブロックである。このブロックは「逆」ボトルネックブロックに類似しており、次元を増加させる線形射影層(これは畳み込みニューラルネットワークの文脈では1x1畳み込みに相当する)と、次元を減少させるもう1つの線形射影層を持つ。
トランスフォーマーブロックの深さは4層(直線投影)です。GPT-3モデルには96のトランスフォーマー・ブロックがある(トランスフォーマーの文献では、トランスフォーマー・ブロックはしばしば「トランスフォーマー・レイヤー」と呼ばれる)。このモデルは、トランスフォーマーブロックの96x4層と、入力埋め込みと出力予測のための余分な層を含めて、約400の投影層の深さを持つ。
非常に深いトランスフォーマーモデルは、残差コネクションなしではうまく学習できない。