בעקבות הביצועים הכושלים של הצבא הסובייטי בפינלנד, והכיבוש המהיר של צרפת וארצות השפלה על ידי הצבא הנאצי בקיץ 1940, הבין סטלין שצבאו עדיין אינו מוכן להתמודד כנגד הצבא הגרמני, ועשה הכל על מנת להרוויח זמן, כדי לבנות מחדש את הצבא האדום ולהכין אותו למלחמה נגד גרמניה, שנראתה בלתי נמנעת. הוא ניהל מדיניות פייסנית ולעיתים אף מתרפסת כלפי גרמניה, כדי לא לתת להיטלר עילה כלשהי לפתוח במלחמה נגד ברית המועצות, ושכנע את עצמו, שיצליח לדחות את המלחמה נגד גרמניה לפחות עד שנת 1943. כתוצאה מכך, הוא דחה על הסף את כל ההתרעות המודיעיניות, שקיבל ממקורות שונים, ביחס להכנות הגרמניות למתקפה על ברית המועצות ולא נקט בהכנות צבאיות נאותות כדי להתמודד עם הפלישה הגרמנית הצפויה. ב-22 ביוני 1941, בשעות הבוקר המוקדמות, פרצו כוחות הוורמאכט לברית המועצות, במסגרת מבצע ברברוסה, והפתיעו לחלוטין את סטלין ואת כוחות הצבא האדום באזורי הגבול. אין ספק, שסטלין אחראי במידה רבה לשורת התבוסות הנוראות שספג הצבא הסובייטי בחודשים הראשונים של הפלישה הגרמנית, עקב התעלמותו מכל ההתרעות על הפלישה הגרמנית הצפויה, וסרובו לאשר לערוך את ההכנות המתחייבות לקראת אפשרות זו, למרות כל תחינות הפיקוד העליון של הצבא האדום, ובראשו הרמטכ"ל, גאורגי ז'וקוב.
במלחמת העולם השנייה.
בתחילת הפלישה הגרמנית לברית המועצות לא נשמע קולו של סטלין למספר ימים, ואת ההודעה לציבור על פרוץ המלחמה נתן מולוטוב בנאום ברדיו. רק לאחר כשבועיים התעשת סטלין, וב-3 ביולי 1941, נשא נאום רדיופוני ידוע לעם הסובייטי, שיש המשווים אותו לנאום "דם, יזע ודמעות" של צ'רצ'יל. הנאום נפתח בפנייה אישית וישירה, בלתי אופיינית לסטלין, לחיילים ולאזרחים הסובייטים: "חברים, אזרחים, אחים ואחיות, לוחמי הצבא והצי! אני דובר אליכם, חברי!", וביסס את מנהיגותו של סטלין, ואת מעמדו הציבורי כמושיע הלאומי. סטלין לא דיבר כמנהיג קומוניסטי, אלא כפטריוט רוסי, ממשיכם של המצביאים הידועים מיכאיל קוטוזוב ואלכסנדר סובורוב, והציג את המלחמה כמלחמה פטריוטית של העם הרוסי כנגד פולש זר. בשלב זה, כאשר הכוחות הנאציים חדרו עמוק לשטח ברית המועצות והצבא הסובייטי ספג תבוסות נוראות, פולחן האישיות של סטלין, שעד אז הוכתב מלמעלה, הפך לאותנטי. התחושה בקרב הציבור הסובייטי הייתה, שרק מנהיג חזק כמו סטלין, מסוגל להוציא את ברית המועצות מן המצב הנואש שאליו נקלעה.
עם זאת, המצב הצבאי המשיך להיות קשה והכוחות הנאציים המשיכו בהתקדמותם. בראשית ספטמבר 1941 הטיל הצבא הגרמני מצור על לנינגרד. הניתוק מברית המועצות ומניעת העברת מזון וציוד גרמו לרעב המוני שבו נספו מאות אלפי אנשים. באוקראינה כותרו כוחות גדולים של הצבא האדום והושמדו. בראשית אוקטובר 1941 פתח הצבא הגרמני במתקפה על מוסקבה והגיע עד למרחק קצר מהעיר. ב-16 באוקטובר פרצה בהלה המונית במוסקבה, בעקבות שמועות על פריצת כוחות גרמניים לעיר. פקידים ממשלתיים ומקורבים לשלטון החלו להימלט ממוסקבה, והממשלה הסובייטית הועברה לעיר קויבישב, שממזרח למוסקבה. אך סטלין עצמו החליט להישאר במוסקבה, כדי להפגין את ביטחונו בכך שהעיר לא תיפול לידי הגרמנים, ותוך זמן קצר התייצבה החזית והתקדמות הצבא הגרמני הואטה ולאחר מכן נבלמה. מאות אלפים מתושבי מוסקבה גויסו למאמץ להקים ביצורים וטבעות הגנה מסביב לעיר ובתוכה, והפיקוד הסובייטי הזרים תגבורות חזקות לעזרת כוחות הצבא האדום במרחב מוסקבה. הדוגמה האישית שנתן סטלין, בסירובו לנטוש את מוסקבה, מילאה תפקיד חשוב בחיזוק כושר העמידה של תושבי מוסקבה וחיילי הצבא האדום שהגנו על העיר. ביום המהפכה (7 בנובמבר) בשנת 1941 נשא סטלין נאום, שזכה לכינוי נאום "רוסיה הקדושה" בתחנת הרכבת התחתית במוסקבה "מייקובסקי". לאחר מכן הוא סקר את המצעד, בו השתתפו אלפי חיילים וטנקים רבים, שחלקם הגיעו היישר מהחזית סביב מוסקבה, וחזרו ללחימה מיד לאחר מכן. בראשית דצמבר פתחו כוחות הצבא האדום באזור מוסקבה במתקפת נגד גדולה, הסבו מפלה קשה לקבוצת ארמיות מרכז הגרמנית, ואילצו אותה לסגת מאות ק"מ מערבה. הניצחון הסובייטי בקרב מוסקבה היה התבוסה המשמעותית הראשונה שספג הוורמאכט במלחמה, והיווה נקודות מפנה חשובה במערכה הצבאית בחזית המזרחית במלחמת העולם השנייה.
למרות העוינות של מעצמות המערב כלפי סטלין וברית המועצות, הן נחפזו להתייצב לצד ברית המועצות מיד לאחר תחילת הפלישה הנאצית, וצרפו אותה למחנה בעלות הברית. וינסטון צ'רצ'יל נשא נאום בפרלמנט, בו אמר כי על אף שבמשך עשרים וחמש שנים לא היה מתנגד חריף ממנו לקומוניזם, הרי שכעת מדובר במלחמתו של העם הרוסי, עם האיכרים והפועלים, מול הצבא הנאצי הבא לשעבדם ולהשמידם. במלחמה זו חובתם של העמים הדמוקרטיים להתייצב לצד ברית המועצות ולסייע למלחמתה נגד התוקפנות הנאצית. נאום זה סימן את ראשית הברית בין בריטניה לברית המועצות, שנמשכה עד לסוף המלחמה. בשנים 1941–1945 קיבלה ברית המועצות סיוע צבאי מאסיבי מהממלכה המאוחדת ומארצות הברית, שכלל סוגים שונים של ציוד צבאי, וכן חומרי גלם לתעשייה ומזון משומר, ומילא תפקיד משמעותי בהשגת הניצחון הסובייטי על גרמניה הנאצית.
סטלין, שהגזים מאוד בהערכת ההשפעה של המפלה הגרמנית בקרב מוסקבה, התעקש להורות לצבאו להמשיך במתקפה באזור מוסקבה בכל מחיר, למרות התנגדות הפיקוד העליון של הצבא האדום (הסטאבקה), ולפתוח בשורת מתקפות חדשות נגד כוחות הציר, במטרה להשלים את תבוסתם ואת שחרור שטחי ברית המועצות, שנכבשו על ידם. המתקפות הללו, שלא הוכנו כהלכה, התישו את כוחות הצבא האדום, וגרמו להם אבדות כבדות, מבלי שהביאו להישגים משמעותיים. הצבא הגרמני בחזית המזרחית התאושש תוך זמן קצר, ובאביב 1942 עבר שוב למתקפה. רק לאחר שהצבא הסובייטי ספג שורה של תבוסות קשות באביב ובקיץ 1942 (בהם קרב חרקוב השני, המערכה במרחב וורונז'-וורושילובגרד, המצור על סבסטופול ועוד) ונאלץ לסגת משטחים נרחבים בדרום רוסיה, החל מאזן הכוחות הצבאי לנטות לטובת ברית המועצות. נקודות המפנה העיקריות במערכה הצבאית בחזית המזרחית היו הניצחונות הסובייטיים בקרב סטלינגרד בחורף 1942/1943, ולאחר מכן בקרב קורסק בקיץ 1943. בשלב זה של המלחמה החל סטלין לחשוב קדימה על עיצוב מחדש של מפת אירופה שלאחר המלחמה. מטרתו הייתה לא רק לשחרר את שטחי ברית המועצות מידי הנאצים, אלא גם להשתלט על חלק גדול ככל האפשר מאירופה, כדי להפוך את ברית המועצות לכוח הדומיננטי ביבשת, ולמעצמה עולמית מובילה. במסגרת זו פלש הצבא הסובייטי למדינות הבלקן החל מקיץ 1944, והשתלט עליהן בזו אחר זו לאחר קרבות קשים כנגד צבאות מדינות הציר.
לוועידת יאלטה, שנערכה בראשית 1945, שנועדה לדון בסדר העולמי החדש לאחר תום המלחמה, ובחלוקת אירופה וגרמניה בין מעצמות המערב וברית המועצות, הגיע סטלין בעמדת כוח. הצבא הסובייטי השתלט על רוב שטח פולין ומדינות הבלקן, והגיע למרחק קצר מבירת גרמניה, ברלין. בנוסף לכך, הממשל האמריקני היה מעוניין מאוד להשיג את הסכמת סטלין לכניסת ברית המועצות למלחמה כנגד יפן, במטרה להקל על הכנעת יפן, להביא לסיום המלחמה בזירה הפסיפית ולחסוך בנפגעים אמריקניים. אף על פי שקיימת טענה לפיה מצבו הבריאותי הלקוי של נשיא ארצות הברית פרנקלין דלאנו רוזוולט, שהגיע לוועידה כשהוא חולה ומותש, הקל על סטלין להשיג ממנו לגיטימציה להשתלטות ברית המועצות על אירופה המזרחית, נראה שלמעצמות המערב לא הייתה ברירה מעשית אלא להכיר במציאות שנוצרה בשטחים, שנכבשו על ידי הצבא האדום. סטלין אמנם התחייב במהלך ועידת יאלטה לערוך בחירות דמוקרטיות בכל המדינות שנכבשו על ידי צבאו במזרח אירופה, אך לא הייתה לו כל כוונה לקיים את הבטחתו. עם סיום המלחמה שלטה ברית המועצות למעשה על כל מדינות אירופה המזרחית, הקימה משטרי בובות קומוניסטיים במזרח גרמניה, פולין, רומניה, הונגריה, צ'כוסלובקיה, ובולגריה, וסיפחה אותן למה שנודע אחר כך בשם "הגוש הסובייטי". צ'רצ'יל תיאר את המצב שנוצר באירופה לאחר תום מלחמת העולם השנייה, באומרו כי מסך ברזל ירד על אירופה.
גם בעיצומה של המלחמה נמשך הטרור הפנימי הסטליניסטי במלוא עוזו. מאות אלפי חיילים, שהואשמו בפחדנות מול פני האויב, או בחוסר נאמנות פוליטית, נשלחו לגדודי עונשין, שהיו מוצבים באזורים המסוכנים ביותר בחזית. "יחידות חסימה" של האן.קה.וו.דה. הוצבו בעורפם של כוחות לא אמינים אלה הלוחמים בחזית על מנת למנוע נסיגה, ולהבטיח את נאמנותם לצבא האדום. תפקידן של "יחידות חסימה" היה לעצור חיילים שעזבו מרצונם את שדה הקרב, ולשלוח אותם חזרה לחזית, או למשפט צבאי במקרים מסוימים. בשלבים הראשונים של המלחמה גם הוצאו להורג לא מעט קצינים בכירים, שנכשלו במילוי תפקידם לדעת סטלין, כאמצעי הרתעה והפחדה.
חמור מכך היה יחסו של סטלין כלפי מיליוני החיילים הסובייטיים, שנפלו בשבי הנאצי בשלבים הראשונים של המלחמה בחזית הסובייטית. מאות אלפי שבויים, ששרדו את השבי הנאצי האכזרי, ושוחררו בתום המלחמה לא התקבלו בברכה, אלא בחשדות ובמעצרים. אנשים אלו נחשבו כבוגדים, ונחשדו בחוסר נאמנות לשלטון הסובייטי, ולכן חלקם נשלחו לאחר המלחמה ל"חינוך מחדש" במחנות עבודת הכפייה בגולאגים. נאמן לגישה זו, סירב סטלין להצעות הנאצים לשחרר את בנו יאקוב ג'וגאשווילי, שנפל בשבי הגרמני, בתמורה לשבויים גרמנים בכירים, והאחרון נרצח על ידי הנאצים בשבי.