In april 1941 werd Heeresgruppe A omgedoopt tot Heeresgruppe Süd. Toen op 22 juni 1941 Operatie Barbarossa begon, rukte Von Rundstedt op richting Kiev. Nadat de omsingelde Sovjets zich hadden overgegeven, rukte Heeresgruppe Süd op naar Rostov aan de Don. Von Rundstedt achtte het niet verantwoord meteen verder door te stoten naar de Wolga, zoals Hitler gewenst had, maar wilde eerst het veroverde gebied consolideren. Hitler was razend en Von Rundstedt bood zijn ontslag aan.