Jan Železný connut ensuite une petite baisse de régime, ne parvenant pas à se qualifier ni pour les championnats d'Europe de 1990 ni pour les championnats du monde de 1991. Cependant, lors des Jeux olympiques de 1992 de Barcelone, Jan Železný était en grande forme. Il n'eut besoin que d'un lancer lors de la finale pour s'adjuger l'or, battant son propre record olympique de . Aux Jeux olympiques de 1996 à Atlanta, Železný - avec ses - était le plus léger des concurrents au javelot. Dans la finale, le Britannique Steve Backley prit la tête de la compétition, mais Jan Železný le dépassa dans la deuxième manche avec un lancer qui le mena vers la victoire. À Sydney en 2000, Železný - toujours le plus léger des concurrents - prit une nouvelle fois le dessus sur Steve Backley et établit un nouveau record olympique. Jan Železný est le seul lanceur de javelot de l'histoire olympique à avoir remporté quatre médailles, dont trois d'or. Aux Jeux olympiques d'Athènes en 2004, il termine à la à cause de blessures à répétition.