Kleist trat ursprünglich in das 6. Brandenburgische Infanterie-Regiment Nr. 52 der Preußischen Armee ein, in dem er 1869 zum Sekondeleutnant avancierte. Nach einer Verwundung in der Schlacht bei Gravelotte im Deutsch-Französischen Krieg wechselte er zur Kavallerie über. Nach dem Besuch der Kriegsakademie wurde er 1877 Premierleutnant und dann 1878 zum Generalstab kommandiert. 1883 zum Rittmeister befördert, kam er 1887 als Major zum Generalstab der 3. Division und war 1892/95 Kommandeur des Ulanen-Regiments „Kaiser Alexander II. von Rußland“ (1. Brandenburgisches) Nr. 3 in Fürstenwalde. Als Oberstleutnant wurde er am 27. Januar 1895 Abteilungschef im Nebenetat des Großen Generalstabes, 1896 Oberst und 1897 Chef der Abteilung für Kriegsgeschichte. Im Jahr 1899 wurde Kleist Generalmajor und 1901 Inspekteur der 1. Kavallerie-Inspektion. 1902 erfolgte seine Beförderung zum Generalleutnant und ein Jahr darauf seine Ernennung zum Kommandeur der 38. Division in Erfurt. Am 27. Januar 1907 stieg Kleist mit der Beförderung zum General der Kavallerie zum Generalinspekteur der Kavallerie auf. In Würdigung seiner Verdienste verlieh im Wilhelm II. das Großkreuz des Roten Adlerordens mit Eichenlaub und Krone und stellte ihn am 15. Mai 1909 à la suite des Ulanen-Regiments „Kaiser Alexander II. von Rußland“ (1. Brandenburgisches) Nr. 3. Am 6. April 1912 wurde Keist in Genehmigung seines Abschiedsgesuches mit der gesetzlichen Pension und unter Belassung à la suite des Ulanen-Regiments „Kaiser Alexander II. von Rußland“ (1. Brandenburgisches) Nr. 3 zur Disposition gestellt.