ב-24 ביולי 1941, לאחר פתיחת המתקפה הגרמנית ביוני של אותה שנה, מונה יפרמוב למפקד הארמייה ה-21. הארמייה שלו נסוגה מפני הגרמנים המתקדמים וניסתה לנהל מתקפות נגד. ב-7 באוגוסט מונה יפרמוב למפקד החזית המרכזית, והחזיק בתפקיד עד 25 באוגוסט. בספטמבר הוא מונה לסגן מפקד חזית בריאנסק ב-1 באוקטובר מונה למפקד הארמייה העשירית, וב-17 באוקטובר מונה למפקד הארמייה ה-33. הארמייה שלו נכללה במסגרת החזית המערבית של גאורגי ז'וקוב. באפריל 1942 החליט ז'וקוב לצאת למתקפה על מבלט רז'ב הגרמני. הארמייה של יפרמוב הצליחה לפרוץ פרצה במערך הגרמני, וחזר אליה קורפוס הפרשים הראשון של המשמר בפיקודו של פאבל בלוב. אולם אז הגרמנים התאוששו, וסגרו את דרך הנסיגה של הסובייטים. הסובייטים פעלו בעורף הגרמני באזור ויאזמה לצד הפרטיזנים, כשהם מתוספקים מהאוויר. באפריל ניתנה להם רשות לנסות לפרוץ ולחבור אל כוחות סובייטיים סמוכים. הפרשים של בלוב אמנם הצליחו בכך והגיעו אל הארמייה העשירית הסובייטית, אך הארמייה של יפרמוב כותרה והושמדה בידי הגרמנים. יפרמוב עצמו התאבד ב-19 באפריל בגיל 45 כדי לא ליפול בשבי.