Pierwszy sukces w karierze Klaus-Jürgen Grünke odniósł w 1970 roku, kiedy został mistrzem kraju w wyścigu na 1 km. Cztery lata później, podczas torowych mistrzostw świata w Montrealu wspólnie z Uwe Unterwalderem, Heinzem Richterem i Thomasem Huschke zdobył srebrny medal w drużynowym wyścigu na dochodzenie. Dwa kolejne medale zdobył na mistrzostwach świata w Liège w 1975 roku: razem z Norbertem Dürpischem, Thomasem Huschke i Uwe Unterwalderem był trzeci w drużynowym wyścigu na dochodzenie, a indywidualnie zwyciężył w wyścigu na 1 km. Ostatni sukces osiągnął podczas igrzysk olimpijskich w Montrealu w 1976 roku, gdzie także był najlepszy na dystansie 1 km, bezpośrednio wyprzedzając Belga Michela Vaartena i Duńczyka Nielsa Fredborga. Ponadto wielokrotnie zdobywał medale torowych mistrzostw kraju, w tym siedem złotych.