Kleist tjänstgjorde som generalstabsofficer i första världskriget. Efter kriget var han militärområdesbefälhavare i Schlesien vid tiden för det nationalsocialistiska maktövertagandet. Han visade prov på kritisk hållning gentemot nazismen. Efter krisen i samband med arméchefen Werner von Fritschs avsättning 1938 avskedades Kleist. Han återinsattes i tjänst och förde befäl över en armékår under fälttåget mot Polen hösten 1939. I maj 1940 var han befälhavare över de pansarförband som gick över floden Meuse vid Sedan med sådan effektivitet och hastighet att det blev ett skolexempel på hur mekaniserade förband skulle hanteras. Dock hade han konflikter med sin underordnade Heinz Guderian om hur pansarvapnet skulle användas, där Kleist oftast framstod som den försiktige. År 1941 deltog Kleists pansargrupp i Balkanfälttåget och intog Belgrad. Inför Operation Barbarossa var Kleist chef för I. pansargruppen, vilken ingick i armégrupp Süd under framryckningen i Ukraina. Hans framryckning hejdades emellertid då han mötte kraftigt motstånd från ryska pansarförband. För att åter kunna påbörja sin framryckning var Kleist tvungen att få hjälp av Guderians pansargrupp, 2. Panzerarmee, vilken omfördelades från armégrupp Mitte för just det ändamålet. Den största framgången uppnådde Kleist i slaget vid Kiev, där man lyckades ta tillfånga 665 000 fiendesoldater. Den 25 oktober 1941 gjorde Hitler om I. pansargruppen till 1. Panzerarmee. År 1942 fick Kleist order om att ta oljefälten i Baku, för att därefter fortsätta på djupet in i Kaukasus.