ב-22 ביוני 1941, יום הפלישה הגרמנית לרוסיה, הועבר זכרוב להיות ראש מטה הארמייה ה-22 והשתתף עמה בקרבות שונים כנגד הגרמנים ובין היתר בקרב סמולנסק. ב-16 באוגוסט של אותה שנה מונה לראש מטה חזית בריאנסק בפיקודו של אנדריי יריומנקו. במסגרת זו המשיך להילחם בקרבות סביב סמולנסק, ובמבצע טייפון. ב-7 באוקטובר 1941 נפצע יריומנקו ומיכאיל פטרוב מונה למפקד החזית. פטרוב נהרג ב-10 באוקטובר, וזכרוב מונה למפקד החזית, אשר הייתה כעת אוסף של יחידות שנחלצו אך בקושי מהכיתור הגרמני במבצע טייפון, ונמלטו לכיוון מוסקבה. ב-10 בנובמבר של אותה שנה הורה הסטאבקה על פירוק החזית. בדצמבר מונה זכרוב לסגן מפקד החזית המערבית והשתתף בקרב מוסקבה. במאי 1942 מונה לראש מטה חזית צפון הקווקז, וב-7 באוגוסט של אותה שנה מונה לראש מטה החזית הדרום-מערבית עד 30 בספטמבר. הוא השתתף בקרב סטלינגרד בתחילה כראש מטה חזית סטלינגרד, ובהמשך כסגן מפקד החזית. ב-20 בדצמבר 1942 הוא הועלה לדרגת לייטננט גנרל.