À l'issue de la saison 1983, Honda abandonne Spirit pour rejoindre Williams, et Johansson n'est pas conservé. Il amorce une reconversion en Endurance (où il remporte début 1984 les 12 Heures de Sebring) mais la F1 ne l'oublie pas complètement: au cours de l'été, il est appelé par Tyrrell pour remplacer Martin Brundle blessé, puis à Monza, il remplace Ayrton Senna (ponctuellement mis à pied pour avoir annoncé son transfert chez Lotus) chez Toleman, avant de prendre la place de Johnny Cecotto, blessé. En Italie, il signe une convaincante quatrième place qui lui permet d'être conservé chez Toleman pour l'année suivante.