L'anno dopo abbandonò la McLaren per passare al team tedesco ATS, senza grande successo; infatti nella stagione non conquistò punti iridati. Nel 1979 passò quindi alla Arrows. Segnerà tre punti e un quarto posto nella Race of Champions. Nel 1980, sempre col team Arrows: quarto a Monaco, fu capace anche di giungere secondo nella controversa gara di Spagna, poi dichiarata non legale dalla FISA. Dopo un anno di riposo tornò alla Formula 1 nel 1982 con la March. L'annata fu poco fortunata sia per la poca consistenza della vettura sia per cause esterne. Fu infatti contro la sua vettura che Gilles Villeneuve urtò, prima di decollare, e morire, a Zolder. Dopo un altro terribile incidente che lo vide protagonista assieme a Mauro Baldi Mass decise di porre fine alla sua carriera in Formula 1. In tutto 104 GP, con 71 punti conquistati, una vittoria, due giri più veloci (Francia 1975 e Spagna 1976) e 5 giri in testa. Fu l'ultimo pilota tedesco a vincere un Gran Premio prima dell'avvento di Michael Schumacher, e l'unico a farlo fra il 1961 e il 1992.