با آغاز عملیات بارباروسا در ۲۲ ژوئن سال ۱۹۴۱، فرماندهی گروه ارتش جنوب را بر عهده داشت. در نبرد کیف یکی از بزرگترین عملیات‌های محاصره تاریخ را فرماندهی کرد اما به دنبال عقب‌نشینی در روستوف و پس از درگیری با هیتلر بر سر استراتژیهای نظامی، او در دسامبر ۱۹۴۱ از خدمت کنار گذاشته شد. ماه مارس سال ۱۹۴۲ مجدداً به عنوان فرمانده کل جبهه غرب انتخاب شد. همراه با فیلدمارشال اروین رومل، دیوار آتلانتیک را پیش از حمله متفقین ارزیابی نمود. معتقد بود که حمله متفقین از منطقه کاله خواهد بود و بیشتر نیروهای آلمانی را در آن منطقه متمرکز کرده بود. همزمان با پیاده شدن نیروهای متفقین در نرماندی، در ۲ ژوئیه ۱۹۴۴، گونتر فن کلوگه جایگزین او شد، اما پس از خودکشی فن کلوگه در پی کودتای ۲۰ ژوئیه در سپتامبر ۱۹۴۴، دوباره به فرماندهی نیروهای آلمانی در غرب رسید و تا مارس ۱۹۴۵ که کنار گذاشته شد، این مقام را در اختیار داشت. البته فرماندهی او بیشتر تشریفاتی بود و تصمیمات نظامی مهم را دیگران، خصوصاً هیتلر اتخاذ می‌کردند. از نقشه‌های مختلف نظامیان مخالف هیتلر آگاهی داشت اما از این اقدامات حمایت نمی‌کرد.