Pierwszy międzynarodowy sukces w karierze Rolf Gölz osiągnął w 1982 roku, kiedy zdobył srebrny medal w indywidualnym wyścigu na dochodzenie na mistrzostwach świata w Leicester. W zawodach tych wyprzedzi go tylko Detlef Macha z NRD. Na rozgrywanych w 1983 roku mistrzostwach świata w Zurychu reprezentanci RFN w składzie: Rolf Gölz, Gerhard Strittmatter, Michael Marx i Roland Günther zwyciężyli w drużynowym wyścigu na dochodzenie. W tej samej konkurencji razem z Güntherem, Marxem i Reinhardem Alberem zdobył brązowy medal na rozgrywanych igrzyskach olimpijskich w Los Angeles w 1984 roku. Na tych igrzyskach wywalczył ponadto srebrny medal indywidualnie, przegrywając tylko ze Steve'em Heggiem z USA. Gölz startował także w wyścigach szosowych, wygrywając między innymi: Vuelta a Andalucía (1985 i 1987), Mistrzostwa Zurychu (1987), Giro del Piemonte i La Flèche Wallonne (1988) oraz Mediolan-Turyn (1988 i 1989). Wielokrotnie zdobywał medale mistrzostw kraju, zarówno w kolarstwie torowym jak i szosowym.