Op 1 juni 1942 volgde de bevordering tot "General der Panzertruppen" en op 10 juli werd zijn korps hernoemd tot "XXXXI. Panzerkorps" (41e Pantserkorps). Voor zijn aandeel en moed tijdens de Slag om Koersk werd hij op 4 november 1943 benoemd tot commandant van de "9. Armee" (9e Leger). In die rol werd Josef Harpe op 20 april 1944 bevorderd tot "Generaloberst" en nam hij op 1 mei het commando van "4. Panzerarmee" (4e Pantserleger) in Noord-Oekraïne op zich. Op 28 juni 1944 nam hij de leiding van "Generalfeldmarschall" Walter Model van "Heeresgruppe Nordukraine" over. Na herbenoeming van "Heeresgruppe Nordukraine" op 28 september in "Heeresgruppe A" bleef hij de bevelhebber. Na de Russische doorbraak bij Baranów Sandomierski tijdens het Wisła-Oderoffensief werd Josef Harpe door Adolf Hitler als zondebok beschouwd en werd hij op 17 januari 1945 vervangen door "Generaloberst" Ferdinand Schörner.