Kleist trat in den Befreiungskriegen am 2. Februar 1813 als freiwilliger Jäger in das Detachement der Garde ein. 1813 avancierte er zum Sekondeleutnant und wurde bei Großgörschen schwer verwundet, wofür er den Orden des Heiligen Wladimir IV. Klasse erhielt. Im April 1814 wurde Kleist in das 1. Garde-Regiment zu Fuß einrangiert und avancierte 1821 zum Premierleutnant, 1831 zum Kapitän und Kompaniechef, 1834 zum Kommandeur der Leibkompanie und 1840 zum Major. In diesem Rang übernahm er 1845 als Kommandeur das II. Bataillon und wurde 1849 zum Oberstleutnant befördert. Noch im selben Jahr wurde er Kommandeur des 2. Garde-Regiments zu Fuß. 1851 stieg er zum Oberst auf und erhielt 1852 den Johanniterorden. Am 10. Mai 1855 wurde Kleist Kommandeur der 3. Garde-Infanterie-Brigade und am 12. Juni 1855 à la suite des 2. Garde-Regiment zu Fuß gestellt sowie zum Kommandeur der 2. Garde-Infanterie-Brigade ernannt. Noch im selben Jahr avancierte er zum Generalmajor und erhielt den Roten Adlerorden II. Klasse mit Eichenlaub. 1858 wurde Kleist Kommandeur der 15. Division und stieg zum Generalleutnant auf. Im Folgejahr wurde er mit dem Stern zum Roten Adlerorden geehrt. Zu seinem 50-jährigen Dienstjubiläum in der Preußischen Armee wurde Kleist der Kronenorden I. Klasse verliehen. An Ehrungen folgten 1861 der Rote Adlerorden I. Klasse und der Orden der Eisernen Krone sowie 1863 das Großkreuz des Hausordens vom Weißen Falken.