Ziółkowski deltok i OL for tredje gang i Athen i 2004. Under OL 1996 i Atlanta kom han på tiendeplass, mens han under Sommer-OL 2000 i Sydney sørget for en sensasjon ved å ta gullmedaljen.