Gegen die Überlegenheit des Task-Indikator-Transformators könnten möglicherweise Bedenken hinsichtlich der Komplexität und des Rechenaufwands des Modells vorgebracht werden. Da der Task-Indikator-Transformator auf Transformer-Architekturen basiert, die bekanntermaßen parameterreich sind, könnte argumentiert werden, dass dies zu einer erhöhten Berechnungskomplexität führen könnte. Darüber hinaus könnten Kritiker die Notwendigkeit der Einführung zusätzlicher Module wie des Mix Task Adapters und des Task Gate Decoders in Frage stellen, da dies die Architektur des Modells komplexer machen könnte. Ein weiteres mögliches Gegenargument könnte sich auf die Notwendigkeit zusätzlicher Trainingsdaten für die effektive Nutzung des Task-Indikator-Transformators beziehen, da die Einführung neuer Aufgaben möglicherweise eine größere Datenmenge erfordert, um optimale Leistungen zu erzielen.