England fortsatte imidlertid å slite med europamesterskapet. I kvalifiseringen til EM i Belgia i 1972 slo de , og i gruppespill, men tapte for Vest-Tyskland over to runder i kvartfinalen. Men om denne kvalifiseringen var dårlig, ble den neste verre for Englands del. Under kvalifiseringen til VM i 1974 havnet England i gruppe med og Wales. Den avgjørende kampen ble mot Polen på Wembley, der England, som hadde rotet bort poeng mot Wales, måtte vinne. Takket være storspill av Polens målvakt Jan Tomaszewski, endte kampen uavgjort, og Polen gikk videre til VM. Dette medførte at Ramsey måtte gå av som landslagssjef etter at en komité hadde kommet til den konklusjonen. FAs leder og faktotum Harold Warris Thompson kan personlig ha grepet inn for å få Ramsey sparket. I Ramseys siste kamp, en vennskapskamp mot Portugal i april 1974, fikk både midtstopperen David Watson og midtbanespilleren Trevor Brooking sine respektive debuter. Begge etablerte seg siden på landslaget under Don Revie og ble viktige spillere i de kommende mesterskap.