Si mise in luce nel 1966, quando migliorò il primato europeo sugli 800 metri correndoli in 1'44"9, otto decimi meno del precedente primato stabilito dal belga Roger Moens nel 1955. Poche settimane dopo giunse secondo nella finale degli 800 metri ai campionati europei, preceduto dal tedesco orientale Manfred Matuchewski. Lo stesso anno Kemper migliorò il record mondiale sui 1000 metri e quello della staffetta 4 x 800. Per questi risultati, nel 1967 fu premiato con la foglia d'alloro di argento, il massimo riconoscimento sportivo per un atleta tedesco.