Op 9 maart 1945 werd hij benoemd tot commandant van de "5. Panzerarmee" (5e Pantserleger) en viel hij op 17 april 1945 in handen van de Amerikanen na de belegering van het Roergebied. Josef Harpe kwam vrij op 14 april 1948.