Kleist johti 1941 panssaroitua joukkoa, joka otti haltuunsa Belgradin. Operaatio Barbarossan alkuvaiheessa hän johti saksalaisten hyökkäystä Kiovaan ja edelleen läpi Ukrainan. Kleistin joukot valtasivat marraskuussa 1941 Rostov-na-Donun, mutta viikkoa myöhemmin Semjon Timošenko onnistui saamaan takaisin kaupungin hallinnan vastahyökkäyksensä ansiosta.