Największy sukces w karierze Rob Harmeling osiągnął w 1986 roku, kiedy wspólnie z Tomem Cordesem, Gerritem de Vriesem i Johnem Talenem zdobył złoty medal w drużynowej jeździe na czas na mistrzostwach świata w Colorado Springs. Był to jednak jedyny medal wywalczony przez niego na międzynarodowej imprezie tej rangi. Na tych samych mistrzostwach zajął także 37. miejsce w wyścigu ze startu wspólnego amatorów. W 1988 roku wystartował na igrzyskach olimpijskich w Seulu, gdzie w wyścigu ze startu wspólnego zajął 38. pozycję. Ponadto wygrał między innymi Flèche du Sud i Ronde van Overijssel w 1986 roku, a w 1992 roku wygrał jeden z etapów Tour de France, ale całego wyścigu nie ukończył. W TdF startował jeszcze dwa razy, najlepszy wynik osiągając w 1991 roku, kiedy zajął 158. miejsce w klasyfikacji generalnej. Startował także w Vuelta a España i Giro d'Italia, ale ani jeden raz nie uplasował się w czołowej setce. W 1995 roku zakończył karierę.