Kleist var en av mange som bisto i Bendlerblock under Stauffenbergs attentatsforsøk. Han ble stilt for retten, men av mangel på bevis ble saken hans innstilt i desember 1944. Han kom seg også unna en anklage i Volksgerichtshof. En sympatisk innstilt høyere offiser fikk ordnet delvis forfalskede papirer for ham, og Kleist flyktet til Italia der han ved hjelp av dokumentene foregav å være på etteretningsoppdrag. Kort tid før kamphandlingene opphørte, meldte han seg for en kampenhet og ledet denne til elva Po der han havnet i amerikansk krigsfangenskap. Amerikanerne forsøkte å verve ham til propagandaoppdrag, men Kleist avslo.