W czerwcu 1941, po agresji niemieckiej, stał się z racji stanowiska komisarza przewodniczącym Stawki i tytularnym Naczelnym Wodzem wojsk radzieckich (faktycznym był Józef Stalin). Na początku lipca 1941 z rozkazu Stalina wyruszył dowodzić wojskami Frontu Zachodniego oraz pięcioma armiami rezerwowymi. Dowodzeni przez niego żołnierze nie powstrzymali uderzenia niemieckiego. 30 września 1941 objął dowództwo Frontu Południowo-Zachodniego. W kwietniu 1942 w czasie ofensywy w kierunku Charkowa stracił 250 tys. żołnierzy. W lipcu objął dowództwo Frontu Stalingradzkiego, lecz 23 lipca Stalin odwołał go do Moskwy. Od października 1942 do marca 1943 dowodził Frontem Północno-Zachodnim.