Nach diesem großen Erfolg erklärten mehrere wichtige Spieler ihren Rücktritt, was sich sogleich negativ auswirkte. So erreichte England beim Six Nations 2004 nur den dritten Platz. Auch die Mehrheit der Test Matches gegen Teams der Südhemisphäre verlief enttäuschend, weshalb Weltmeistertrainer Clive Woodward Anfang September 2004 seinen Rücktritt erklärte. Seinem Nachfolger Andy Robinson gelang es nicht, die Mannschaft zu stabilisieren, denn 2005 und 2006 landete sie beim Six Nations sogar nur auf dem vierten Platz. 2006 gingen neun von zwölf Test Matches verloren, eine der schlechtesten Jahresbilanzen in der Geschichte der Nationalmannschaft. Unter anderem gewann Argentinien am 11. November erstmals überhaupt in Twickenham. Daraufhin ersetzte die RFU Robinson durch Brian Ashton, der zuvor unter anderem die irische Nationalmannschaft betreut hatte.