På 5. etappe i Tour de France 2004, fra Amiens til Chartres, overtok Voeckler den gule ledertrøya. Etter at et femmannsbrudd gikk helt til mål, ledet Voeckler Tour de France med over 12 minutter ned til Lance Armstrong. Han måtte gi ledertrøya fra seg etter 15. etappe, og kjørte videre med den hvite ungdomstrøya helt til den nest siste etappen, temporittet ved Besançon. Der ble russeren Vladimir Karpets for sterk. Det franske publikummet satte stor pris på Voecklers store kampvilje.