Das „Auf-und-ab“ setzte sich für Walker in der Saison 2003/04 fort, die mit einem weiteren Erstligaabstieg endete. Dabei zeigte er sich vor allem zu Beginn und Ende als formstark. Zwischendurch geriet er allerdings gelegentlich negativ in die Schlagzeilen – besonders am 31. Januar 2004, als er beim 0:5 daheim gegen Aston Villa fünf Gegentore in 18 Minuten kassierte und nicht einmal zwei Wochen später sein bizarres Eigentor beim 1:1-Remis gegen die Bolton Wanderers. Dennoch war kein „Kredit“ noch so hoch, dass er für die Euro 2004 nominiert wurde und im Vorfeld gegen Island (6:1) auch zu seinem vierten (und letzten) Länderspiel kam.