לקראת מונדיאל 1970 נחשבה אנגליה לאחת מהמועמדות הבכירות לזכייה, אך הציגה יכולת מאכזבת במהלך הטורניר. היא סיימה במקום השני בשלב הבתים, אחרי נבחרת ברזיל, וברבע הגמר הפסידה 3:2 לגרמניה המערבית, על אף שכבר החזיקה ביתרון של 0:2 עשרים דקות לפני סיום המשחק. רמזי זכה להאשמות תקשורתיות רבות על הכנסתו של פיטר בונטי בעמדת השוער במקום בנקס שסבל מהרעלת מזון, ועל החילוף שבו הכניס את קולין בל במקומו של בובי צ'רלטון. במוקדמות אליפות אירופה ב-1972 הודחה אנגליה פעם נוספת על ידי גרמניה. במוקדמות מונדיאל 1974 הייתה צריכה הנבחרת לנצח במשחק האחרון מול , אך סיימה בתיקו וכשלה בניסיונה להעפיל לטורניר. רמזי קיבל ביקורות רבות על כישלונות אלו, וכעבור מספר חודשים פוטר מאימון הנבחרת.