Zu Beginn des Zweiten Weltkrieges wurde Kleist reaktiviert und nahm als Befehlshaber des motorisierten XXII. Armeekorps am Überfall auf Polen teil. Dort gelang seinem Korps der Durchbruch durch den Südflügel der polnischen Armee. Im Mai 1940 bildete die „Panzergruppe Kleist“, die allein fünf Panzerdivisionen umfasste, die Spitze des Westfeldzuges. Kleist wurde am 19. Juli 1940 zum Generaloberst befördert und erhielt das Ritterkreuz des Eisernen Kreuzes. Im April 1941 nahm er mit der Panzergruppe 1 als Teil der 12. Armee unter der Führung von Generalfeldmarschall Wilhelm List am Balkanfeldzug teil. Im Juni des gleichen Jahres führte er im Russlandfeldzug die Panzergruppe 1, die unter anderem für den Durchbruch durch die „Stalin-Linie“ verantwortlich war. Die Panzergruppe 1 erbeutete in den Kesselschlachten von Uman und Kiew zusammen mit der Panzergruppe 2 von Generaloberst Heinz Guderian über 800 sowjetische Panzer und nahm ca. 650.000 Kriegsgefangene. In Anerkennung ihrer Leistungen wurden die Panzergruppen Kleists und Guderians Anfang Oktober 1941 in Panzerarmeen umgewandelt, was eine Gleichstellung ihrer Oberbefehlshaber mit anderen Armeebefehlshabern bedeutete. Am 18. Februar 1942 wurde Kleist zudem mit dem Eichenlaub zum Ritterkreuz ausgezeichnet. Im Sommer 1942 führte er die durch Unterstellung der 17. Armee gebildete „Armeegruppe Kleist“, bis im weiteren Verlauf des Falls Blau Generalfeldmarschall Wilhelm List den Oberbefehl über die für die Operationen im Kaukasus gebildete Heeresgruppe A übernahm. Im gleichen Jahr erhielt er Grundbesitz im Wert von 567.000 Reichsmark als Dotation.