Después de la guerra Harpe siguió sirviendo en el Reichswehr, durante la República de Weimar. En 1931, bajo el pseudónimo de "Direktor Hacker", fue uno de los jefes de una secreta Escuela de tanques germano-soviética ("Organización Kama") en Kazán, en el interior de la Unión Soviética. El 1 de agosto de 1934 ascendió a "Oberstleutnant" (Teniente coronel) y el 15 de octubre de 1935 se convirtió en comandante del Regimiento "Panzer". Volvió a ascender el 1 de enero de 1937 y fue puesto a cargo de la 1.ª Brigada Panzer con el rango de "Oberst" (Coronel). En 1940 tomó el mando de la Escuela de tropas "panzer" de Wünsdorf. A partir de 1941 sirvió en el Frente Oriental, donde dirigió el XXXXI Cuerpo Panzer entre julio de 1942 y octubre de 1943, y el Grupo de Ejércitos A entre septiembre de 1944 y enero de 1945. Sin embargo, el 20 de enero de 1945 fue relevado del mando por Hitler, dada la imposibilidad de las tropas bajo su mando de detener los avances soviéticos durante la Ofensiva del Vístula-Óder. Terminó la contienda con el rango de Generaloberst, estando destinado en el Frente Occidental al mando del 5.º Ejército Panzer.