In der Saison 2004/05 erreichte Olsztyn wieder das Finale um die polnische Meisterschaft und verlor diesmal gegen Skra Bełchatów. Nach dem vierten Platz in der Weltliga konnte Zagumny wegen einer Verletzung nicht an der Europameisterschaft teilnehmen. Deshalb fehlte er auch in den ersten Ligaspielen seines Vereins, der am Ende der Saison den dritten Rang belegte. Bei der Weltmeisterschaft 2006 kam Polen bis ins Endspiel, das Brasilien 3:0 gewann. Zagumny wurde als bester Zuspieler des Turniers ausgezeichnet. Die nächste Saison in Polen endete für seinen Verein erneut auf dem dritten Platz. Mit der Nationalmannschaft reiste er als Vierter der Weltliga zur EM 2007. Polen kam in die zweite Runde und schaffte dort keinen Sieg mehr. Nachdem Olsztyn zum dritten Mal in Folge Dritter der polnischen Liga geworden war, nahm Zagumny auch 2008 an den Olympischen Spielen teil. Die Polen mussten sich im Viertelfinale Italien im Tiebreak geschlagen geben.