Efter att ha framryckt en bra bit in i Kaukasus fick Kleist problem med att få fram förnödenheter. Bensinen till hans stridsvagnar tog slut, och hans armé tvingades retirera mer eller mindre till fots för att inte bli inringade av de ryska förband som hotade att skära av reträttvägarna. Den 21 november 1942 utsågs Kleist till chef för Armégrupp A, som omedelbart hotades av inringning efter den sovjetiska segern i vid Stalingrad. Kleist lyckades ta armégruppen ur fällan och befordrades till fältmarskalk den 1 februari 1943. Mellan 1943 och 1944 ledde han sina styrkor under det långa tillbakadragandet ur Ukraina. För att bättre kunna försvara sig mot de sovjetiska styrkorna krävde Kleist att få dra sig tillbaka till floden Bug. Men Hitler vägrade att gå med på detta och den 30 mars 1944 avsatte han Kleist, som inte fick någon ny tjänst under resten av kriget. År 1946 dömdes han av en jugoslavisk domstol till 15 års fängelse, men utlämnades 1948 till Sovjetunionen där han anklagades för "likgiltighet gentemot det ryska folket". Han dömdes till livstids fängelse och i mitten av november 1954 avled han i sin fängelsecell i fängelset i Vladimir. Enligt en uppgift mördades von Kleist med stor sannolikhet av KGB.