Po 22. červnu 1941 na něj Stalin nezanevřel a vyslal jej do Londýna a Washingtonu vyjednávat o spojenecké pomoci, v čemž byl úspěšný. Po návratu byl 21. října 1941 pověřen velením 10. rezervní armády, kde prokázal své organizační schopnosti při sestavení devíti divizí později se účastnících protiofenzívy u Moskvy. Na jaře a v létě roku 1942 hrál jednu z hlavních rolí při zhroucení jižní fronty a i když na vině byla spíše celková situace v sovětském velení, než jeho vlastní neschopnost, stal se jedním z obětních beránků, kterým byla kritická situace dávána za vinu. Poté byl převelen do Stalingradu, kde sloužil pod velením generála Vasilije Čujkova, který kladně hodnotil jeho organizační a motivační schopnosti. Po vítězství u Stalingradu velel útoku vojsk na Don, Voroněž a Charkov, na který zaútočil 16. února 1943 a dobyl jej. Podcenil ovšem možnosti Wehrmachtu a po Mansteinově jarní ofenzívě jej musel zase vyklidit. Pod jeho velením si odbyl křest i 1. československý samostatný prapor v tzv. bitvě u Sokolova, který byl při jeho příchodu na frontu osobně přivítat. Poté byl odvelen z fronty k administrativní práci v Moskvě a nastoupil do funkce náměstka komisaře pro obranu pověřeného kádrovou prací. Pod jeho velení spadala násilná repatriace ruských občanů z dobytých cizích území.