Nach dem Besuch des Gymnasiums in Danzig trat Kleist als Offiziersbewerber am 9. Mai 1840 in das Westpreußische Kürassier-Regiment Nr. 5 der Preußischen Armee ein. Er wurde 1841 Portepeefähnrich. Nach der Offiziersprüfung wurde er am 9. Juni 1841 Secondeleutnant. 1851 wurde zum Premierleutnant und 1854 zum Rittmeister befördert. Danach wurde er am 30. Juni 1859 Eskadronchef. Es folgten mehrere Versetzungen: 1863 zum Ostpreußischen Kürassier-Regiment Nr. 3, dann 1864 zum Rheinischen Dragoner-Regiment Nr. 5 und schließlich unter Beförderung zum Major 1865 in den Generalstab. Während des Deutsch-Dänischen Krieges 1864 nahm Kleist an der Erstürmung der Düppeler Schanzen und dem Übergang nach Alsen teil. Im Krieg gegen Österreich 1866 kämpfte er bei Königgrätz. 1868 wurde er zunächst mit der Führung des 2. Pommerschen Ulanen-Regiments beauftragt, dann bald darauf am 22. März 1868 zum Kommandeur dieses Regiments unter gleichzeitiger Beförderung zum Oberstleutnant ernannt. Im Deutsch-Französischen Krieg 1870/71 zeichnete sich Kleist in der Schlacht bei Gravelotte, bei der Belagerung von Metz sowie der Zernierung von Verdun aus und erhielt für das Gefecht bei Château-Renault das Eiserne Kreuz II. Klasse.