לאחר הפלישה הגרמנית לברית המועצות חזר אל הפיקוד העליון של הצבא. ביוני 1941 מונה לחבר בסטאבקה וב-29 ביולי שוב מונה לראש המטה הכללי. הוא תכנן והוציא לפועל את התקפות הנגד בחורף 1941-1942, במהלכן נהדפו הגרמנים משערי מוסקבה. במאי 1942 הודח מתפקידו כראש המטה הכללי בעקבות כישלון מבצעי הצבא האדום בחצי האי קרים והתבוסה בקרב קרץ', אך נשאר חבר הסטבקה. מאז ולמעשה עד יום מותו היה יועצו האישי של סטלין בנושאים צבאיים. באופן רשמי בתקופה זו תפקידו היה ראש האקדמיה הצבאית של המטה הכללי.