În 1942 Kleist a fost trimis cu trupe în Caucaz, în scopul de a captura puțurile importante de petrol din zonǎ. La 22 noiembrie 1942, a fost pus la comanda Grupului de Armate A. este promovat la gradul de mareșal în 1943. Este eliberat de comandă în martie 1944, atunci cînd a ordonat retragerea Armatei a 8-a când aceasta era în pericol de încercuire de către armata Roșie, încălcând astfel ordinul lui Adolf Hitler.