Transformerは自己注意メカニズムを活用しており、ピクセルごとの最適化を加速し長距離依存関係も効果的に扱えます。この特性からNLP（自然言語処理）だけでなくビジョンタスクでも成功を収めています。例えばSwin Transformerはシフトウィンドウ機能を使用して階層的特徴マップを構築しました。これにより非線形性や高い計算量問題も解決しました。Vision Transformer（ViT）も同様にビジョンタスクで成功を収めており、CNN（畳み込みニューラルネットワーク）よりも優れたパフォーマンスを発揮しています。