Po atentátu na Hitlera dne 20. července 1944 byl gestapem zatčen, ale na rozdíl od svého příbuzného Ewalda von Kleist-Schmenzina, který byl ve spiknutí zapojený, se Kleist vyhnul soudu a byl později propuštěn.