V době napadení Sovětského svazu dne 22. června 1941 vojsky nacistického Německa, kdy sloužil ve funkci náčelníka Generálního štábu Rudé armády, byl odeslán k Jihozápadnímu frontu, kde zorganizoval první sovětský protiútok proti útočníkům z německé skupiny armád Jih. Od 23. června 1941 (tedy den po přepadení Sovětského svazu nacistickým Německem) až do konce 2. světové války byl stálým členem Hlavního stanu vrchního velení. Dne 30. července 1941 byl ustanoven velitelem Záložního frontu a uvolněn z funkce náčelníka Generálního štábu Rudé armády. V srpnu organizoval za cenu obrovských ztrát protiútoky na znovudobytí města Jelňa východně od Smolenska během Smolenské operace, které nakonec padlo 6. září 1941. Od 9. září organizoval jakožto vrchní velitel obranu Leningradu, kde vystřídal maršála Vorošilova, na nějž útočila německá skupina armád Sever, ale již 12. září OKH na příkaz Hitlera útok na Leningrad zastavila a přešla k obléhání. V říjnu 1941 nahradil Ivana Koněva ve funkci velitele Západního frontu, který bránil hlavní město Moskvu. Koněva tehdy uchránil tragického osudu předešlého velitele Západního frontu generála Dmitrije Pavlova, který byl 22. července 1941 zastřelen. Okamžitě se snažil obnovit souvislou obranu, která byla v předešlých dnech zcela rozvrácena velkým obklíčením sovětských vojsk u Vjazmy. Nařídil též popravy dezertérů a zbabělců. Řídil také přesun jednotek z Dálného Východu. Při protiútoku Rudé armády, zahájeném 5. prosince 1941, zahnala Rudá armáda německé jednotky skupiny armád Střed (po skončení německé operace Tajfun) o 125-150 kilometrů zpět na západ od Moskvy.