קונייב נולד בכפר לודיינו (Лодейно) במחוז קירוב שבמרכז רוסיה למשפחת איכרים. לאחר סיום בית ספר יסודי עבד כחוטב עצים. בשנת 1916 גויס לצבא הצאר, ולאחר סיום קורס תותחנים נשלח לחזית. בשנת 1918, לאחר שרוסיה חתמה על הסכם הפסקת הלחימה עם גרמניה, שוחרר מהצבא. באותה שנה התנדב לצבא האדום. במהלך מלחמת האזרחים לחם באזור סיביר והמזרח הרחוק כנגד כוחות הצבא הלבן - תחילה כקומיסר רכבת משוריינת ולאחר מכן כקומיסר באוגדה של חיל רגלים. בשנת 1921 השתתף בדיכוי מרד קרונשטאדט. לאחר תום המלחמה נשאר בשירות קבע, ובכך היווה מקרה נדיר בו קומיסר, תפקיד שהוא בעיקרו פוליטי, הופך לאיש צבא מקצועי. שירת בתפקיד מפקד רגימנט ולאחר מכן קודם לתפקיד סגן מפקד דיוויזיה. בשנים 1932–1934 למד באקדמיה צבאית של המטה הכללי במוסקבה. לאחר סיום האקדמיה מונה למפקד דיוויזיית הרובאים ה-37, וב-1937 מונה למפקד דיוויזיית הרובאים ה-2. ביולי 1938 מונה למפקד ארמיית הדגל האדום השנייה במזרח הרחוק. ביוני 1940 מונה למפקד המחוז הצבאי טרנס באיקל, ובינואר 1941 מונה למפקד המחוז הצבאי צפון קווקז.