Kleist, babasının 1788'de ölümünden sonra, Berlin'de reform taraftarı bir vâiz olan "Samuel Heinrich Catel"'in yetimhanesinde büyüdü. Catel, aynı zamanda Fransızca dilbilgisi öğretmeniydi. Kleist muhtemelen, Catel sayesinde Aydınlanma döneminin Fransız şair ve filozofları ile tanıştı. Askerî hayatına öncelik vermek mecburiyetinde olduğu için, Brandenburg Üniversitesi'nde başladığı akademik hayatına ara vermek zorunda kaldı ve Prusya Kraliyet Ordusu'na katıldı. Genç Kleist, ailesinin geleneklerine sadık kalarak 1792 yılının Haziran ayında, Potsdam'daki Prusya Ordusu'nun "3. Muhafız Alayı Taburu"'nda kıdemli onbaşı oldu. Müfettiş General Ernst von Rüchel idaresinde, Fransa'ya karşı Birinci Kolaisyon Savaşı'na katıldı. Aynı tabur ile Mainz'de Alman topraklarında kurulan ilk burjuva cumhuriyetinin askerî güçlerinin kuşatmasında da yer aldı.