Pierwszy sukces w karierze Jo de Roo osiągnął w 1958 roku kiedy wygrał holenderski Omloop der Kempen. Dwa lata później wygrał Giro di Sardegna, w 1962 roku wygrał wyścig Bordeaux-Paryż, w latach 1962-1963 wygrywał w Giro di Lombardia i wyścigu Paryż-Tours, w 1965 roku wygrał Ronde van Vlaanderen, a rok później był najlepszy w belgijskim Omloop Het Nieuwsblad. Kilkakrotnie startował w Tour de France, najlepszy wynik osiągając w 1964 roku, kiedy wygrał jedn etap i zajął 43. miejsce w klasyfikacji generalnej. Po jednym etapie wygrywał także w latach 1965 i 1966, ale w pierwszym przypadku zajął 55. miejsce, a w drugim nie ukończył rywalizacji. W 1966 roku wygrał również jeden etap Vuelta a España, ale podobnie jak w TdF nie dotarł do mety. W 1961 roku wystąpił na mistrzostwach świata w Bernie, gdzie był piąty w wyścigu ze startu wspólnego zawodowców. Na rozgrywanych pięć lat później mistrzostwach świata w Nürburgu w tej samej konkurencji zajął ósmą pozycję. Nigdy nie wystąpił na igrzyskach olimpijskich. Jako zawodowiec startował w 1958-1968.