לאחר פלישת גרמניה לברית המועצות ביוני 1941 מונה למפקד הארמייה ה-19, עמה לחם באזור סמולנסק, וסייע לבלום את ההתקדמות הגרמנית לכיוון מוסקבה במסגרת קרב סמולנסק. בספטמבר 1941 מונה למפקד החזית המערבית. מרבית כוחות החזית כותרו והושמדו על ידי הצבא הגרמני באזור ויאזמה בראשית אוקטובר 1941, במסגרת מבצע טייפון. בעקבות כישלון זה הודח קונייב מהפיקוד על החזית וכמעט ונשפט על ידי בית דין צבאי (מה שקרוב לוודאי היה נגמר בהוצאה להורג, בדומה לאופן בו סיים את חייו קודמו בתפקיד, גנרל פבלוב). רק התערבותו של גיאורגי ז'וקוב, ששימש באותה עת כמפקד כוחות הצבא האדום במרחב מוסקבה, מנעה מסטלין להוציא אותו להורג.