ב-22 ביוני 1941, יום המתקפה הגרמנית, מונה גורדוב לראש מטה הארמייה ה-21 אשר הייתה חלק מהחזית המערבית. במחצית הראשונה של יולי ניהלה הארמייה שורת מתקפות נגד הכוחות הגרמניים המתקדמים, ואף זכתה למספר הצלחות מקומיות. ב-7 באוגוסט מונה גורדוב למפקד הארמייה, ונאלץ לסגת אל הנהר דסנה תחת לחץ גרמני כבד. חלק מכוחות הארמייה כותרו. ב-24 באוגוסט מונה וסילי קוזנצוב למפקד הארמייה, וגורדוב הוחזר לתפקיד ראש המטה. הוא לחם עם הארמייה במהלך קרב קייב, עד שזו פורקה ב-27 בספטמבר. ב-5 ביוני 1942 מונה למפקד הארמייה התשיעית, ב-17 ביוני הועבר לפקד על ארמיית המילואים הראשונה, ב-10 ביוני הועבר לפקד על הארמייה ה-64, ב-22 ביולי הועלה לדרגת גנרל לייטננט, ויום לאחר מכן מונה למפקד חזית סטלינגרד במקום סמיון טימושנקו.