Robson valgte å ikke ta med Kevin Keegan i sin tropp, og fikk dermed Newcastle United FC-fans imot seg. Også pressen begynte å gå imot ham. Tre spillere som likevel fikk mye spilletid de kommende år var målvakten Chris Woods, høyrevingen Trevor Steven og backen Stuart Pearce. Også midtbanespilleren Neil Webb fikk tillit under Robson, og ble Englands landslagsspiller nummer 1000. Under kvalifiseringen til EM i 1984 var igjen England varierende resultatmessig, og en uavgjortkamp mot Hellas og tap for Danmark hjemme ble avgjørende. England var ett poeng fra å være kvalifisert, men røk likevel ut. I mai 1985 ble engelsk fotball preget av Heysel-tragedien og en påfølgende UEFA-utestengelse av engelske lag fra europeiske turneringer, men dette gjaldt ikke landslaget, som nå var eneste arena med internasjonalt spill for engelske fotballspillere i likhet med skotsk seriefotball i fem år fremover.