Największy sukces w karierze Rolf Aldag osiągnął w 1990 roku, kiedy wspólnie z Kaiem Hundertmarckiem, Raimundem Lehnertem i Michaelem Richem zdobył brązowy medal w drużynowej jeździe na czas na szosowych mistrzostwach świata w Utsunomiya. Był to jednak jedyny medal wywalczony przez niego na międzynarodowej imprezie tej rangi. W tej samej konkurencji zajął także piąte miejsce na rozgrywanych rok wcześniej mistrzostwach świata w Chambéry. W 1996 roku zajął 28. miejsce w wyścigu ze startu wspólnego podczas igrzysk olimpijskich w Atlancie. Na rozgrywanych cztery lata później igrzyskach w Sydney uplasował się pięć pozycji wyżej. Ponadto w 1991 roku wygrał Schynberg Rundfahrt, Hofbrau Cup w 1994 roku, Bayern Rundfahrt w 1999 roku oraz Sparkassen Giro Bochum w 2003 roku. Wielokrotnie startował w Tour de France, najlepszy wynik osiągając w 1994 roku, kiedy zajął 38. miejsce w klasyfikacji generalnej. Pięciokrotnie startował w Vuelta a España, zajmując między innymi 38. miejsce w 1999 roku. Czterokrotnie zdobywał medale szosowych mistrzostw kraju, w tym złoty w wyścigu ze startu wspólnego w 2000 roku. Startował także w kolarstwie torowym, ale bez większych sukcesów.