Né d'une , Kleist est éduqué dans une école militaire allemande ; il sert ensuite en tant que lieutenant des hussards. Il est chef de corps pendant la Première Guerre mondiale. Il est envoyé sur le front Est et commande un escadron de cavalerie à Tannenberg en 1914.