W marcu 1942 Rundstedt został wyznaczony do organizowania obrony w zachodniej Europie (obszaru operacyjnego „Zachód”). Konflikt dowódczy z Erwinem Rommlem spowodował, że bezpośrednie dowodzenie wojskami pancernymi we Francji przejął Hitler. Rommel uważał, iż siły pancerne muszą znajdować się blisko wybrzeży, by szybko zareagować na ewentualny desant; Rundstedt z kolei twierdził, iż pozbawi to wojska pancerne manewru i narazi na ostrzał okrętowy. W czerwcu 1944 von Rundstedt nalegał, by zawrzeć porozumienie pokojowe z aliantami (miał nawet powiedzieć Keitlowi „Zakończcie wojnę, bando idiotów)”, Hitler usunął go i na jego miejsce mianował gen. Gunthera von Klugego. 2 lipca 1944 ponownie przeszedł w stan spoczynku. Po zamachu na Hitlera 20 lipca 1944 przewodniczył sądowi honorowemu badającemu sprawy oficerów podejrzanych o współudział w spisku. 9 września 1944 powrócił na stanowisko głównodowodzącego obszaru „Zachód”. W grudniu 1944 nadzorował niemieckie kontruderzenie w Ardenach – Operację "Wacht am Rhein". 7 marca 1945, obarczony winą za niepowodzenia został ponownie (i ostatecznie) zdymisjonowany, a jego stanowisko głównodowodzącego na froncie zachodnim objął feldmarszałek Albert Kesselring. 1 maja 1945 został pojmany przez amerykańską 36 Dywizję Piechoty. Podczas przesłuchania doznał drugiego zawału.