Le premier match de Robson en tant que responsable de l'équipe d'Angleterre provoque immédiatement une controverse, car il n'a pas retenu Kevin Keegan contre le Danemark ; des supporters de Newcastle United crachent sur Robson. Le , Robson subit sa seule défaite des vingt-huit rencontres qualificatives de sa charge de sélectionneur de l'Angleterre. Cette défaite, à domicile contre le Danemark, entraîne finalement l'élimination de l'Angleterre pour les qualifications au Championnat d'Europe 1984 et Robson offre de démissionner en faveur de Brian Clough. Celle-ci est rejetée par Bert Millichip, président de la fédération anglaise, principalement à cause de son hostilité et de celle de la fédération vis-à-vis de Clough. Ainsi Robson continue à diriger l'équipe d'Angleterre pour les qualifications pour la Coupe du monde 1986 au Mexique.