На второй Олимпиаде в карьере, в Афинах-2004, Павел Загумный из-за травмы играл немного, выходя на замены вместо Анджея Стельмаха. В 2005 году перелом пальцев руки не позволил ему принять участие в чемпионате Европы, но в следующем сезоне, вернув своё место в основном составе сборной, Загумный стал серебряным призёром чемпионата мира в Японии и обладателем приза лучшему связующему этого турнира. В 2007 году его признали лучшим пасующим на финальном турнире Мировой лиги в Катовицах, где польская команда заняла 4-е место.