Il 21 settembre 1983, Robson subì l'unica sconfitta occorsagli nelle ventotto partite di qualificazione che disputò come allenatore. La battuta d'arresto, ancora una volta con la Danimarca, comportò la mancata qualificazione dell'Inghilterra per gli Europei 1984, ed ebbe come conseguenza le dimissioni dell'allenatore a favore di Brian Clough. Le dimissioni furono rifiutate dal presidente della FA, Bert Millichip (principalmente per sfiducia nei confronti di Clough), e Robson continuò a guidare la Nazionale inglese per le qualificazioni ai Mondiali di calcio del 1986 in Messico.