CATSの適用範囲は、他のMLPアーキテクチャや注意機構にも拡張可能です。CATSの中心となる新しい活性化関数は、Gated-MLPブロックにおける疎性を導入するためのものであり、他のMLPアーキテクチャにも適用可能です。また、CATSは活性化の疎性を利用して推論コストを削減するため、注意機構など他の部分にも適用できる可能性があります。将来の研究では、CATSの他のアーキテクチャへの適用や拡張に焦点を当てることで、さらなる効率化や性能向上が期待されます。