Beliau dipanggil semula bertugas pada permulaan Perang Dunia Kedua sebagai Panglima Kumpulan Tentera Darat Selatan semasa kempen Poland. Beliau memerintah Kumpulan Tentera Darat A semasa pencerobohan Jerman keatas Perancis, dan telah dinaikkan pangkat ke Fil Marsyal pada 19 Julai 1940. Di dalam Kempen Rusia, beliau memerintah Kumpulan Tentera Darat Selatan, bertanggungjawab bagi pengepungan terbesar dalam sejarah, iaitu Pertempuran Kiev. Beliau telah dipecat oleh Adolf Hitler pada Disember 1941, selepas pengunduran Jerman dari Rostov, tetapi dipanggil semula pada tahun 1942 dan dilantik sebagai Panglima Tertinggi Barat Eropah (OB West).