Na konci polské kampaně se stal v říjnu 1939 velitelem 2. armády. Jako její velitel se účastnil bitvy o Francii i invaze do Jugoslávie. Během Operace Barbarossa byla jeho 2. armáda v záloze OKH, později nasazena v oblasti Kurska. Během Operace Blau, byla 2. armáda nasazena na severním křídle a následně uvázla v bojích u Voroněže. Díky dlouhým bezvýsledným bojům o Voroněž byl Fedor von Bock sesazen z velení Skupiny armád Jih a následně bylo toto velitelství rozděleno na Skupinu armád A (velel jí přímo Adolf Hitler) směřující na Kavkaz a Skupinu armád B směřující podél Donu ke Stalingradu. Velitelem Skupiny armád B byl vybrán von Weichs.