Bei der Euro 2004 in Portugal absolvierte James alle Partien der englischen Auswahl, aber bereits im September 2004 wendete sich das Blatt gegen ihn, als er seinen Platz nach einem Fehler bei einem 2:2 in der WM-Qualifikation gegen Österreich im September 2004 an Paul Robinson von Tottenham Hotspur verlor. Weiteres Ungemach ereilte James, als er am 17. August 2005 zur Halbzeit gegen Dänemark eingewechselt wurde und vier Gegentore zum 1:4 kassierte – die höchste Niederlage Englands seit 25 Jahren. Er blieb zwar weiter Bestandteil des Kaders, kam aber bei der WM 2006 in Deutschland nicht an Robinson vorbei.