בינואר 1943 מונה זכרוב לסגן מפקד החזית הדרומית, וב-11 בפברואר של אותה שנה מונה למפקד הארמייה ה-51. ב-31 ביולי 1943 מונה למפקד ארמיית המשמר השנייה, אשר הייתה חלק מהחזית האוקראינית הרביעית. תחת הנהגתו הארמייה חדרה את ההגנות הגרמניות על הנהרות מיוס ומולוחניא, ופרצה את הקווים הגרמניים במצר פרקופ. בין אפריל למאי 1944 לקח זכרוב חלק במתקפת קרים, והארמייה שלו שחררה את העיר סבסטופול. ב-16 במאי 1944 הועלה לדרגת גנרל-פולקובניק, וב-28 ביולי הועלה לדרגת גנרל ארמייה. במהלך מבצע בגרטיון בין יוני לאוגוסט של אותה שנה, קיבל זכרוב את הפיקוד על החזית הבלארוסית השנייה. תפקוד החזית במהלך המבצע נחשב ללא מספק, וזכרוב הועבר לפקד על ארמיית המשמר הרביעית שלחמה בגרמנים בקרבות על הדנובה ובמצור על בודפשט. באפריל 1945 מונה לסגן מפקד החזית האוקראינית הרביעית.