スパイクフォーマーにおける自己注意メカニズムの直交性の低下は、主にトレーニング中のネットワークパラメータの変化に起因すると考えられます。初期化時には、ネットワークパラメータはほぼ直交していますが、トレーニング中にその直交性は徐々に低下しています。これは、ネットワークが学習を進めるにつれて、パラメータが重なり合う表現に自然に移行していくためです。自己注意メカニズムは、動的な高次の基底関数として機能し、入力の変化だけでなくネットワーク自体のパラメータ学習によって調整されるため、直交性が低下する傾向があると考えられます。