Kleist begann seine Laufbahn in der preußischen Armee 1786 als Gefreiterkorporal im Infanterieregiment "Jung-Bornstedt" (Nr. 20). 1787 avancierte er zum Fähnrich, 1790 zum Sekondeleutnant, 1798 zum Premierleutnant und 1801 zum Stabskapitän. Er nahm am Vierten Koalitionskrieg teil und wurde bei Auerstedt schwer verwundet. 1809 nahm er im Rang eines Majors zum ersten Mal seinen Abschied.