Після того турніру кар'єра Клюйверта у збірній пішла на спад. Команда не пройшла кваліфікацію на Чемпіонат світу в Японії та Кореї, програвши головним конкурентам — Португалії (0:2) та Ірландії (0:1). Не зігравшись з іншим форвардом, Рудом ван Ністелроєм, Патрік став виходити в основному на заміну, і то в товариських матчах. На Євро-2004 в Португалії він став єдиним польовим гравцем із заявлених на турнір, хто жодного разу не вийшов на поле. З тих пір, після призначення Марко ван Бастена у 2004 році головним тренером збірної, до збірної Патрік не викликався. Останній гол за національну команду Клюйверт забив у ворота збірної Молдови 11 жовтня 2003 року, останній матч — проти Ірландії 5 червня 2004.