Największy sukces w karierze Jo de Haan osiągnął w 1963 roku, kiedy zdobył brązowy medal w wyścigu ze startu wspólnego podczas mistrzostw świata w Ronse. W zawodach tych wyprzedzili go jedynie dwaj Belgowie: Benoni Beheyt oraz Rik Van Looy. W tej samej konkurencji był też między innymi szósty na rozgrywanych rok później mistrzostwach świata w Sallanches. Ponadto był między innymi pierwszy w Dwars door Gendringen w 1958 roku, pierwszy w Paryż-Valenciennes, Tour de Picardie i Paryż-Tours w 1960 roku, trzeci w Ronde van Vlaanderen i najlepszy w Grand Prix d'Isbergues w 1961 roku oraz drugi w Ronde van Limburg dwa lata później. Trzykrotnie startował w Tour de France, najlepszy wynik w klasyfikacji generalnej osiągając w 1964 roku, kiedy zajął 60. pozycję. Nigdy nie wystąpił na igrzyskach olimpijskich. W 1966 roku zakończył karierę.