Zur Weltmeisterschaft 2002 in Südkorea und Japan war keiner der Neville-Brüder im englischen Kader – während Gary verletzungsbedingt pausieren musste, erhielt Phil erneut keine WM-Nominierung. Zwei Jahre später aber waren beide wieder im Kader für die Euro 2004 in Portugal, als Phil Neville jedoch nur einen einzigen sechsminütigen Kurzeinsatz gegen Kroatien erhielt. Es war das letzte große Turnier, das er für die englische Nationalmannschaft bestritt. Zuletzt kam er an Spielern wie Ashley Cole und Wayne Bridge nicht mehr vorbei und bei der WM 2006 in Deutschland gehörte er lediglich zu den im erweiterten Kreis befindlichen „Standby-Spielern“. Nach der WM 2006 berief ihn der neue Trainer Steve McClaren zunächst weiter in die englische Elf und Neville startete als rechter Außenverteidiger im EM-Qualifikationsspiel gegen Andorra. Danach blieb er bei weiteren Nominierungen aber stets unberücksichtigt.