Krátce nato se stal lidovým komisařem obrany SSSR a stál před velkým úkolem - obnovit bojeschopnost Rudé armády po "reformách" provedených Klimentem Vorošilovem. Tuto funkci držel i v okamžiku, kdy Německo zahájilo operaci Barbarossa. Ihned po vypuknutí války byl jmenován předsedou Stavky vrchního velení, ale již 19. července 1941 byl nahrazen Stalinem v této funkci i na postu lidového komisaře (ministra) obrany. Zůstal však členem Stavky, náměstkem lidového komisaře obrany a nově se stal velitelem Západního strategického směru. 13. září 1941 se přesunul na post velitele Jihozápadního směru, velel obraně Kyjeva a v listopadu 1941 jedné z prvních úspěšných protiofenzív u Rostova na Donu. Následně po zrušení velitelství směrů velel různým frontům. Zpočátku Jihozápadnímu, kde