Cũng giống như hầu hết các quý tộc trẻ thời bấy giờ, Kleist theo đuổi sự nghiệp quân sự. Ông đã khởi đầu binh nghiệp của mình khi nhập ngũ quân đội Phổ vào ngày 12 tháng 3 năm 1859 với cấp bậc Chuẩn úy ("Portepee-Fähnrich") trong Trung đoàn Long kỵ binh số 4. Năm sau (1860), ông được lên quân hàm Thiếu úy và được đổi vào Trung đoàn Long kỵ binh số 7. Hai năm sau đó (1862), ông gia nhập Trung đoàn Long kỵ binh số 8, rồi được thăng cấp hàm Trung úy vào năm 1866 và Trưởng quan kỵ binh vào năm 1869. Trong cuộc Chiến tranh Bảy tuần với Áo vào năm 1866, Kleist đã chiến đấu cùng với trung đoàn của mình trong một cuộc tấn công gần Nachod. Sau đó, ông cũng tham gia cuộc chiến tranh giữa Liên bang Bắc Đức và đồng minh với Pháp (1870 – 1871), và được tặng thưởng Huân chương Thập tự Sắt. Vào ngày 18 tháng 1 năm 1871, tại "Phòng Gương" trong điện Versailles của Pháp, ông tham dự lễ tấn công Wilhelm I làm hoàng đế đầu tiên của một nước Đức thống nhất. Vào năm 1880, ông được lên cấp hàm Thiếu tá và vào năm 1882, Kleist được bổ nhiệm một chức vụ sĩ quan tham mưu trong Trung đoàn Khinh kỵ binh Cận vệ. Vào năm 1887, ông được lãnh chức Trung đoàn trưởng của Trung đoàn Long kỵ binh số 8, đóng quân tại Oels. Tiếp sau đó, vào năm 1889, Kleist được nhậm chức Lữ đoàn trưởng Lữ đoàn Kỵ binh số 3 tại Allenstein. Đến năm 1895, với quân hàm Trung tướng, ông được xuất ngũ ("zur Disposition") và về hưu. Ông từ trần vào tháng 3 năm 1912 ở Liegnitz, Schlesien.