Kluge was ook actief als mountainbiker. In 1990 werd hij eindwinnaar in de wereldbeker. Kluge nam in 1996 deel aan de olympische mountainbikerace, die in Atlanta voor het eerst op het olympisch programma stond. Hij stapte voortijdig af in die wedstrijd, die werd gewonnen door de Nederlander Bart Brentjens.