Hierna kwam Dvořák in 2003 nogmaals terug; op de WK in Parijs werd hij vierde. Op de Olympische Spelen van 2004 in Athene probeerde hij vervolgens nog eenmaal het graag gewenste olympische goud te behalen, maar viel op de eerste dag op het allereerste nummer, de 100 m, uit door een blessure. Daarna bereikte hij zijn oude niveau nooit meer. Een achtste plaats op de WK van 2005 en een twaalfde op de EK van 2006 waren zijn laatste wapenfeiten.