После этого карьера Клюйверта в сборной пошла на спад. Команда не прошла квалификацию на чемпионат мира в Японии и Корее, проиграв главным конкурентам — Португалии (0:2) и Ирландии (0:1). Не сыгравшись с другим форвардом, Рудом ван Нистелроем, Патрик стал выходить в основном на замену, и то в товарищеских матчах. На Евро-2004 в Португалии он стал единственным полевым игроком из заявленных на турнир, кто ни разу не вышел на поле. С тех пор, после назначения Марко ван Бастена главным тренером сборной, в сборную Патрик не вызывался с 2004 года. Последний гол за национальную команду Клюйверт забил в ворота сборной Молдавии 11 октября 2003 года, последний матч — против Ирландии 5 июня 2004 года.