19. července 1940 byl povýšen do hodnosti polního maršála a byla mu svěřena skupina armád Jih při operaci Barbarossa. Od počátku důrazně odmítal Hitlerův plán rozpracovat ofenzívu do nitra Ruska v průběhu následujícího zimního období. Rundstedt odmítal jeho rozkaz neustupovat z dosažených pozic a striktně požadoval stažení svých jednotek směrem na západ. Na přímý rozkaz Hitlera, však úspěšně pokračoval v ofenzívě a koncem října dobyl strategicky významný Charkov. Jeho skupina armád byla poté stále úspěšná a do konce listopadu dosáhla k Azovskému moři a obsadila Rostov na Donu. Sověti však brzy toto město rychle osvobodili. Následně Rundstedt požádal Hitlera, aby mu opět povolil ústup. Tato další intervence však vůdce natolik rozzuřila, že jej zbavil velení skupiny armád a nahradil jej velitelem 6.armády Waltrem von Reichenauem.