Po napadení Sovětského svazu nacistickým Německem v roce 1941 se stal členem moskevského Hlavního stanu, kde byl ustaven jako velitel armádních záloh. 10. července 1941 byl jmenován velitelem nově vytvořeného Západního frontu a krátce nato pak velitelem jihozápadního strategického směru. Zde se ukázala jeho neschopnost reagovat na rychlé německé útoky a přizpůsobit se novým formám boje. I když měla jeho vojska nad nepřítelem na Ukrajině početní převahu (nicméně adekvátní techniku – tanky T-26, BT-7, BT-7M a T-28), nedokázala postupující Němce zastavit (byť to byla spíše chyba velitele Brjanského frontu Jerjomenka, který nedokázal zastavit postup Guderianovy 2. tankové skupiny). Proto byl odvolán a v září t. r. se stal velitelem Záložního frontu. V říjnu roku 1941 byl pověřen „důležitým“ posláním: řízením slavnostní přehlídky Rudé armády v Moskvě k výročí VŘSR, poté se stal zmocněncem vrchního velitele sovětské armády pro výstavbu záložních jednotek. Během roku 1942 zastával funkce velitele severokavkazského strategického směru a (od května) Severokavkazského frontu; v lednu roku 1943 byl jmenován nominálním velitelem jezdectva Rudé armády.