1958 wurde Jo de Haan niederländischer Amateurmeister im Straßenrennen. Anschließend bekam er einen Vertrag als Profi. Seine größten Erfolge waren 1960 die Siege bei Paris–Tours und bei der Tour de Picardie sowie 1963 der dritte Platz bei den Straßenweltmeisterschaften in Ronse. Bei der WM im Jahr darauf wurde er Sechster. Dreimal startete er bei der Tour de France, jedoch ohne größeren Erfolg, Platz 60 bei seinem Start 1964 für das Team "Televizier" blieb sein bestes Ergebnis.