V roku 1941 viedol Skupinu armád Juh počas operácii Barbarossa. Práve jeho skupina armád sa stretla s najväčším množstvom sovietskych tankov. 8. augusta sa jeho skupine armád vzdalo vyše 100 000 sovietskych vojakov, ktorých obkľúčil okolo Umane. V priebehu mesiaca spolu s vojskami skupiny armád stred uzavrel pri Lochvici obrovský Kyjevský kotol, v ktorom Nemci zajali ďalších 665 000 zajatcov. Ostro odmietal postup do vnútrozemia Sovietskeho zväzu v priebehu zimy. Na konci novembra 1941 bol po prudkej hádke s Hitlerom odvolaný a prepustený ale so všetkými poctami (oficiálne zo zdravotných dôvodov), pretože neuposlúchol Hitlerov rozkaz a pod silnými údermi nepriateľa so svojimi jednotkami ustúpil z Rostova nad Donom. V marci roku 1942 bol vymenovaný za veliteľa vojsk na západe, kde okrem iného viedol stavbu Atlantického valu, najprv sám, neskôr za spoluúčasti maršala Rommela. Po spojeneckej invázii sa obidvaja aj napriek prudkým profesionálnym sporom v oblasti stratégie a niekedy aj osobnej nevraživosti zhodli na tom, že vojna je stratená, a že je nutné čo najrýchlejšie uzavrieť mier. Rundstedta za jeho opakované požiadavky rokovať so Spojencami krátko po ich vylodení odvolali a nahradili maršalom von Klugem. Následne Runstedta Hitler poveril predsedaním čestnému súdy, ktorý mal rozhodnúť o osude 55 dôstojníkov, ktorí boli obvinení z účasti na sprisahaní proti Hitlerovi z 20. júla 1944.