גורדוב נולד למשפחת איכרים ב-12 בדצמבר 1896. ב-1915 התגייס לצבא האימפריה הרוסית, ולחם במסגרתו בחזית המזרחית במלחמת העולם הראשונה. במהלך המלחמה הועלה לדרגת סמל ראשון. ב-1917 הצטרף למשמר האדום, וב-1918 עבר לצבא האדום. הוא לחם לצד הצבא האדום במלחמת האזרחים ברוסיה כנגד הצבא הלבן, ובמהלך המלחמה מונה למפקד רגימנט הרגלים ה-53. הוא לחם במערכה כנגד נסטור מאכנו, ועל חלקו במהלכה הוענק לו עיטור הדגל האדום. בין 1925–1926 הוצב גורדוב במונגוליה כיועץ לצבא המונגולי. ב-1932 סיים את לימודיו באקדמיה הצבאית פרונזה, ולאחר מכן הוצב בבית הספר למקצועות חי"ר במוסקבה. במאי 1935 מונה לראש מטה הדיוויזיה ה-18, וב-29 בנובמבר של אותה שנה הועלה לדרגת פולקובניק. ביוני 1937 מונה למפקד הדיוויזיה ה-67. ביולי 1939 מונה לראש מטה המחוז הצבאי קלינין. בתחילת מלחמת החורף, הוא לחם כנגד פינלנד כראש מטה הארמייה השביעית, אך הודח מהתפקיד בשל כישלונות הארמייה. ב-4 ביוני 1940 הוא הועלה לדרגת גנרל מיור, וב-11 ביולי של אותה שנה מונה לראש מטה המחוז הצבאי וולגה.