פון קלייסט נולד ב-25 בספטמבר 1852 בריינפלד , פרוסיה המערבית. בשנת 1869 הוא התגייס ל, והצטרף לרגימנט הרגלים ה-52 (ברנדנבורג ה-6 - פון אלפנסלבן). במהלך מלחמת צרפת–פרוסיה לחם פון קלייסט בקרב גרבלוט, ואף נפצע במהלך הקרב, ולאחר החלמתו עבר לחיל הפרשים. בשנת 1887 הוא מונה לקצין מטה בדיוויזיה ה-3, ובשנת 1892 מונה למפקד רגימנט האולנים ה-3 (ברנדנבורג ה-1 - אלכסנדר השני, קיסר רוסיה). בשנת 1899 הועלה קלייסט לדרגת גנרל מיור, ובשנת 1901 מונה למפקד פיקוח הפרשים הראשון. בשנת 1902 הועלה לדרגת גנרל לויטננט, ושנה לאחר מכן הוא מונה למפקד הדיוויזיה ה-38 בארפורט. ב-27 בינואר 1907 מונה קלייסט למפקח הכללי של חיל הפרשים והועלה לדרגת גנרל חיל הפרשים. בשנת 1909 העניק לו וילהלם השני את עיטור הצלב הגדול של מסדר העיט האדום עם עלי אלון וכתר, ובשנת 1912 הוא פרש לביתו.