Die Heeresgruppe Süd wurde am 22. Juni 1941, dem Tag des deutschen Angriffs auf die Sowjetunion („Unternehmen Barbarossa“) durch Umbenennung der Heeresgruppe A neu aufgestellt. Sie griff hierbei aus ihren Bereitstellungsräumen vom südlichen Polen über die Slowakei, Ungarn und Rumänien die sowjetische Südwest- und Südfront an. Ihre strategischen Ziele waren der Vorstoß zum Dnepr und die Eroberung Kiews sowie der weitere Vormarsch ins Donezbecken. In zwei großen Kesselschlachten bei Uman und Kiew zwischen Juli und September 1941 wurden mehrere sowjetische Armeen aufgerieben. Nach der Einnahme Odessas im Oktober drangen Teile der Heeresgruppe auf die Krim vor und begannen mit der Belagerung Sewastopols, während anderen Teilen die Einnahme von Charkow und zeitweilig die von Rostow am Don gelang. Der Rückzug aus Rostow Ende November 1941 führte zur Ablösung Rundstedts durch Generalfeldmarschall Walter von Reichenau, der nach seinem Tod im Januar durch Generalfeldmarschall Fedor von Bock ersetzt wurde. Im Winter 1941/42 hatte die Heeresgruppe Defensivstellungen entlang der Flüsse Mius und Donez eingenommen.