Thời trẻ, Kleist học Trung học Chính quy ("Gymnasium") tại Danzig, sau đó ông nhập ngũ quân đội Phổ vào ngày 9 tháng 5 năm 1840 với vai trò là ứng viên sĩ quan trong Trung đoàn Thiết kỵ binh số 5 (Tây Phổ). Vào năm 1841, ông được phong cấp Chuẩn úy. Sau kỳ thi tuyển sĩ quan quân đội, ông được phong quân hàm Thiếu úy vào ngày 9 tháng 6 năm 1841, rồi được thăng hàm Trung úy vào năm 1851 và Trưởng quan kỵ binh vào năm 1854. Tiếp theo đó, vào ngày 30 tháng 6 năm 1859, ông được lãnh chức chỉ huy một đội kỵ binh. Sau đó, ông được điều đi làm nhiệm vụ ở một số nơi khác: vào năm 1863, ông được đổi vào Trung đoàn Thiết kỵ binh số 3 Đông Phổ, rồi chuyển sang Trung đoàn Long kỵ binh số 5 (Rhein) vào năm 1864 và được phong cấp hàm Thiếu tá trong Bộ Tổng tham mưu vào năm 1865. Trong cuộc Chiến tranh Đức-Đan Mạch năm 1864, Kleist tham gia trận đột chiếm pháo đài Dybbøl vào ngày 18 tháng 4 và cuộc tấn công đại thắng vào đảo Als vào tháng 5. Hai năm sau, trong cuộc chiến tranh với Áo, ông đã chiến đấu trong trận đánh quyết định tại Königgrätz-Sadowa vào ngày 3 tháng 7. Đến năm 1868, ông thoạt tiên được giao tạm quyền Chỉ huy ("Führung") Trung đoàn Thương kỵ binh số 2 Pommern. sau đó ông được phong chức Trung đoàn trưởng đồng thời được lên cấp hàm Thượng tá vào ngày 22 tháng 3 năm 1868. Trong cuộc Chiến tranh Pháp-Đức (1870 – 1871), Kleist đã thể hiện tài năng của mình trong trận Gravelotte đẫm máu vào ngày 18 tháng 8 năm 1870, cùng với cuộc vây hãm Metz và cuộc vây hãm Verdun.