シーケンス長学習がトランスフォーマーのエンコーダーレイヤーに影響を与える主な理由は、異なるクラス間でのシーケンス長の分布差によります。この問題が発生すると、モデルは重要なテキスト情報ではなく、シーケンス長さそのものを予測的特徴量として使用し始めます。実際、これは他の不要な表面的特徴と同様に扱われ、モデルがテキスト内容ではなくシーケンス長さを利用していることを示します。