Kleist kam im Alter von 20 Jahren in das Infanterieregiment seines Vaters. Dort avancierte er bis 1760 zum Premierleutnant. Bei der Belagerung von Schweidnitz konnte er sich als Ingenieur auszeichnen, wurde aber verwundet. 1762 wurde Kleist Flügeladjutant des Königs Friedrich II. und 1769 Adjutant bei Kronprinzen Friedrich Wilhelm, mit dem Charakter eines Majors. 1777 wurde er dann in das Infanterieregiment „Jung-Stutterheim“ versetzt. Im Bayerischen Erbfolgekrieg war er bei der Armee des Prinzen Heinrich und kommandierte dort ein Bataillon Freiwilliger. Am 8. September 1780 wurde er zum Oberst und Regimentskommandeur ernannt. Am 1. Juni 1788 wurde er zum Generalmajor befördert und zum Chef des Regiments „von Wunsch“ ernannt. Im Jahre 1800 erhielt er das Regiments „von Kalkstein“, wurde Ritter des Schwarzen Adlerordens und erhielt die Stelle des Gouverneurs von Magdeburg. Im Jahre 1802 wurde er schließlich zum General der Infanterie befördert.