Од јуна 1941. године фон Рундштет је учествовао у операцији Барбароса као командант Групе армија Југ која је била састављена од 52 пешадијске и 5 оклопних дивизија. У почетку је његово напредовање било споро али је у септембру исте године заузет Кијев у којем је заробљено невероватних 665.000 совјетских војника – данас се зна да је заправо заробљено мање од 400.000 али је и даље у питању веома импресивна бројка. Након ове победе фон Рундштет је усмерио своју групу армија ка истоку са задатком да освоји Харков и Ростов. Снажно се противио даљем наступању немачких армија током руске зиме и саветовао је Хитлера да обустави даље операције али је његово становиште одбачено.