I 2004 var Zabel tilbake i toppen av Milano–Sanremo. Han hadde muligheten til å bli den tredje med fem seire i den italienske klassikeren etter en svært god spurt, men dessverre løftet han armene for å juble litt for tidlig og Óscar Freire passerte ham like før målstreken. Bilder av hendelsen kan bl.a. sees hos Cyclingnews. På grunn av dette må han nøye seg med å dele tredjeplassen over dem med flest seire i Milan-Sanremo med Gino Bartali. Etter 1950 er det kun Zabel og Eddy Merckx som har flere enn tre seire, mens Bartali og Costante Girardengo klarte dette før 1951.