I 1904 begynte skandalene. Syklistene kjørte både bil og tog for å komme seg fram på strekningene uten kontroll og publikum kastet spiker på veien for å ødelegge for sine favoritters rivaler. Franskmannen Maurice Garin vant dette året også, men seieren ble fratatt ham da det ble kjent at han hadde tatt tog på deler av strekningen. Til slutt ble rittets femtemann, Henri Cornet, kåret til vinner etter at de fire foranliggende ble diskvalifisert. Arrangøren så på rittet som ferdig, men allerede året etter var det tilbake.