След германското поражение в Днепърско-Карпатската операция е освободен от командването на групата армии на 30 март 1944 г., за даването на заповед на 8-а армия да отстъпи под заплахата от унищожение, в грубо нарушение на разпорежданията на Хитлер. На същия ден в последната си среща с Хитлер фон Клайст посъветва да сключи мир със СССР, което е отхвърлено от фюрера. Фон Клайст се уединява със семейството си във Вайдебрюк, Силезия.