Nach dem Abitur 1934 am Wilhelmsgymnasium München wurde Klebe Fahnenjunker beim Infanterie-Regiment 19 in der Adolf-Hitler-Kaserne München. Im März 1936 wurde er an das Gebirgsjäger-Regiment 99 überstellt. 1938 wurde er zum Leutnant im Gebirgsjäger-Regiment 98 befördert. Beim Angriff auf die Sowjetunion diente er im Korpsstab des Generals der Gebirgstruppe Rudolf Konrad. Nach der Schlacht bei Charkow wechselte er zur 1. Gebirgs-Division. Noch heute lasten ihm alte Kameraden an, dass er „nur aus Profilierungssucht und Ehrgeiz nach Auszeichnung mit dem Ritterkreuz die jungen Kerle in den sinnlosen Tod“ geschickt habe.