Después del Atentado del 20 de julio de 1944, fue arrestado por la Gestapo. Aunque su primo, Ewald-Heinrich von Kleist-Schmenzin, era un conspirador importante, no pudieron encontrar información que vinculara directamente a Kleist con Claus von Stauffenberg o con otros conspiradores comoː el general Friedrich Olbricht, el coronel Albrecht Ritter Mertz von Quirnheim, el teniente Werner von Haeften o con el intento de asesinato de Hitler que había fracasado y, por lo tanto, fue puesto en libertad.