Transformerアーキテクチャーでは、入力空間の高感度性はパラメータ空間内で孤立した点を形成し、長い入力時に非常に急峻な最小値が必要とされます。つまり、高感度な関数を表現するTransformersは極めて急峻な最小値内に存在する必要があります。この理論的結果から、長い入力シーケンスへの対応や学習困難さが説明されます。具体的には、PARITY関数のような高感度関数を適合させる際、モデルパラメーターの微少変化でも大きな損失が生じるため、SGD等の最適化手法で解決不可能ということです。