Després de la guerra Harpe va seguir servint al Reichswehr, durant la República de Weimar. En 1931, sota el pseudònim de "Direktor Hacker", va ser un dels caps d'una secreta Escola de tancs germano-soviètica ("Organització Kama") a Kazan, a l'interior de la Unió Soviètica. L'1 d'agost 1934 va ascendir a "Oberstleutnant" (Tinent coronel) i el 15 d'octubre de 1935 es va convertir en comandant del 3r Regimient "Panzer". Va tornar a ascendir l'1 de gener de 1937 i va ser posat a càrrec de la 1a Brigada Panzer amb el rang de "Oberst". El 1940 va prendre el comandament de l'Escola de tropes "panzer" de Wünsdorf. A partir de 1941 va servir en el Front Oriental, on va dirigir el XXXXI Cos Panzer entre juliol de 1942 i octubre de 1943, i el Grup d'Exèrcits A entre setembre de 1944 i gener de 1945. No obstant això, el 20 de gener de 1945 va ser rellevat del comandament per Hitler, donada la impossibilitat de les tropes sota el seu comandament d'aturar els avenços soviètics durant l'Ofensiva del Vístula-Oder. Va acabar la contesa amb el rang de Generaloberst, estant destinat en el Front Occidental al comandament del 5º Exèrcit Panzer.