Im Alter von 18 Jahren war Speicher noch als Lieferant mit dem Fahrrad unterwegs, ehe er sich dem "Vélo-Club de Levallois" anschloss. Mit dem Spitznamen "Le Dandy" gewann er 1933 die Tour de France. Dabei wurde er von einer französischen Mannschaft unterstützt, in der auch mehrere spätere Toursieger fuhren. Mit dem Gewinn der Weltmeisterschaft im gleichen Jahr gelang ihm als erster Fahrer das Double.