A partir daí, conquistou um bronze no Mundial de Gotemburgo 1995, um ouro no Mundial de Atenas 1997 e passou a colecionar medalhas de ouros olímpicas e mundiais. Venceu a marcha dos 50 km, a mais longa prova do atletismo, consecutivamente nos Jogos de Atlanta 1996, Sydney 2000 e Atenas 2004, conseguindo em Sydney o feito de ganhar o ouro também na marcha mais curta de 20 kms, com sete dias de diferença entre as duas. Ele chegou originalmente em segundo nesta prova, mas acabou ficando com a medalha de ouro após a desclassificação do mexicano Bernardo Segura, que cruzou a linha de chegada 1s à frente de Korzenioswski. Além das quatro medalhas olímpicas, também conquistou três ouros no Campeonato Mundial de Atletismo, em Atenas 1997, Edmonton 2001 e Paris 2003.