Kleist entrou para exército da Prússia em 1778, serviu durante a Guerra da Sucessão Bávara, Guerras revolucionárias francesas e lutou em Jena durante as Guerras Napoleônicas. Em 1799, foi promovido a major e recebeu o comando de um batalhão de granadeiros.