שרמן פתח במערכת אטלנטה ב-4 במאי. ארמיית טנסי של ג'ונסטון לחמה בקרבות הגנה ברוקי פייס רידג' בדרכי הגישה אל דלטון, אשר פונתה ב-13 במאי, ונסוגה 12 מייל דרומה אל רסאקה , שם בנתה עמדות הגנה. אולם, לאחר קרב קצר, ויתר ג'ונסטון על המשך המאבק ונסוג מרסאקה ב-15 במאי. ג'ונסטון ריכז כוחות למען התקפה בקאסוויל . בעוד חייליו מתקדמים, הופיע במפתיע כוח אויב בגודל לא ידוע באגפו הימני. התקלויות ראשוניות החלו, והאיום הכריח את מפקד הגייס, לוטננט ג'נרל ג'ון בל הוד , לעצור את ההתקדמות ולמקם מחדש את הכוחות על מול האיום המפתיע מן האגף. בעקבות האיום הבלתי צפוי, ביטל ג'ונסטון את ההתקפה וחידש את הנסיגה. ב-20 במאי נסוגו כוחותיו עוד 8 מייל דרומה אל קרטרסוויל . חודש מאי 1864 הסתיים כאשר כוחות האיחוד ניסו לבצע תנועת איגוף הרחק מקו הרכבת שתיספק אותם, אך נתקעו אל מול ההגנה העזה של כוחות הקונפדרציה בקרב ניו הופ צ'רץ' ב-25 במאי, קרב פיקט'ס מיל ב-27 במאי, ובקרב דאלאס ב-28 במאי.
ביוני המשיכו כוחותיו של שרמן לתמרן באזור דרכי הגישה הצפוניות לאטלנטה, וב-22 ביוני התלקח קרב קולב'ס פארם, ומייד אחריו ב-27 ביוני פרץ קרב קנסו מאונטיין, שבו בפעם הראשונה (והיחידה) תקף שרמן התקפה חזיתית את הביצורים שהכין ג'ונסטון, מתקפה אשר נהדפה תוך ספיגת אבדות כבידות. עם זאת, בשלב הזה כבר היו כוחות האיחוד במרחק 27 קילומטר מאטלנטה, ואיימו על העיר מצפון ומערב. במהלך חודשיים נסוג ג'ונסטון לאורך 175 קילומטרים של שטח הררי נוח להגנה, בעוד הממשל בווירג'יניה הופך מתוסכל ומודאג. כאשר נסוג ג'ונסטון אל מעבר לנהר הצ'טאהוצ'י, המכשול הטבעי האחרון לפני אטלנטה, איבד נשיא הקונפדרציה דייוויס את סבלנותו.
בתחילת יולי שלח דייוויס את ברקסטון בראג לאטלנטה על מנת לאמוד את המצב. לאחר מספר פגישות עם מנהיגים אזרחיים ופקודיו של ג'ונסטון, חזר בראג לריצ'מונד ודחק בדייוויס להחליף את ג'ונסטון. ב-17 ביולי 1864, בפאתי אטלנטה, הדיח דייוויס את ג'ונסטון מתפקידו. במקומו מינה את לוטננט ג'נרל ג'ון בל הוד, אשר בחיקו נותרה המשימה הבילתי אפשרית להגן על אטלנטה, אותה נאלץ לנטוש בספטמבר. החלטתו של דייוויס להדיח את ג'ונסטון הייתה אחת השנויות במחלוקת בכל המלחמה. בניגוד לג'ונסטון השקול והזהיר, היה ג'ון בל הוד קצין אגרסיבי, תוקפני, אך נמהר. הוא נטש את אסטרטגיית הנסיגה וההשהיה שבה נקט ג'ונסטון, והוביל את ארמיית טנסי של הקונפדרציה למתקפה על עורף מערכי האיחוד במערכת פרנקלין-נאשוויל, שם נחל תבוסה מוחצת אשר מחקה צבאו ככוח לוחם. העדר כוחות קונפדרציה מאורגנים בג'ורג'יה והקרוליינות פתחה בפני שרמן את האפשרות להתקדמות מהירה לסוואנה (הצעדה אל הים) ומשם צפונה אל הקרוליינות.
קרוליינה הצפונית וכניעה בבנט פלייס.
ג'ונסטון נסע לקולומביה בקרוליינה הדרומית, והתכונן לצאת לגמלאות. אולם, בעוד שהקונפדרציה הפכה מודאגת מן הצעדה אל הים של שרמן, ולאחר מכן מסעו צפונה דרך הקרוליינות, עלו קריאות מן הציבור להחזרת ג'ונסטון אל תפקידו. פ.ג.ט. בורגארד, הגנרל האחראי על זירת המערב, הראה התקדמות מועטה מאוד בבלימת כוחות האיחוד. יריבים פוליטיים של ג'פרסון דייוויס, כגון הסנטור לואיס ויגפול, הוסיפו ללחץ בתוך הקונגרס. מרי צ'סנאט, אשר תיעדה ביומנה את מאורעות המלחמה, כתבה "חשבנו כי זה מאבק לעצמאות. כעת נדמה כי זה רק קרב בין ג'ו ג'ונסטון וג'ף דייוויס." בינואר 1865 העביר הקונגרס חוק המעניק לרוברט אדוארד לי את סמכויות הגנרל המפקד, והמליץ להחזיר את ג'ונסטון לפיקוד על ארמיית טנסי. דייוויס מינה מיד את לי לתפקיד, אולם סירב להחזיר את ג'ונסטון לתפקידו. בתזכיר ארוך שלא פורסם כתב דייוויס "דעתי על חוסר התאמתו של ג'ונסטון לפיקוד הבשילה לאט, בניגוד לנטייתי, אל אמונה כה מוצקה עד שיהיה זה בילתי אפשרי מבחינתי לבטוח בו שוב כמפקד צבא כלשהו בשדה." סגן הנשיא אלכסנדר סטפנס ביחד עם 17 סנטורים עתרו לרוברט אדוארד לי על מנת שינצל את סמכותו החדשה על מנת למנות את ג'ונסטון תוך עקיפת הנשיא, אולם הוא סירב. במקום זאת, הוא המליץ לדייוויס למנותו.
למרות הסתגיותיו הקשות, החזיר דייוויס את ג'ונסטון לשירות פעיל ב-25 בפברואר 1865. תחת אחריותו היו שני מחלקות: מחלקת קרוליינה הדרומית, ג'ורג'יה ופלורידה, ומחלקת קרוליינה הצפונית ודרום ג'ורג'יה; הוא קיבל פיקוד על האחרון ב-6 במרץ. מחלקות אלה כללו שלוש ארמיות, ובכללן את שארית ארמיית טנסי העוצמתית בעבר, אולם היו אלה ארמיות בתואר בלבד. ארמיית טנסי נשחקה עד דק במערכת פרנקלין-נאשוויל, וחסרה ציוד ואספקה. אנשיה לא קיבלו את שכרם במשך חודשים, ורק כ-6,600 היגיעו לקרוליינה הדרומית. בשירות ג'ונסטון היו גם כ-12,000 איש תחת ויליאם הארדי , אשר ניסו ללא הצלחה לבלום את התקדמותו של שרמן, את כוחו של ברקסטון בראג שחשב בווילמינגטון, קרוליינה הצפונית, וכ-6,000 פרשים תחת וייד המפטון .
ג'ונסטון, שהיה בנחיתות מספרית עצומה, קיווה לאחד כוחות עם חלק מכוחותיו של רוברט אדוארד לי אשר ניצבו בווירג'יניה, להביס ביחד את שרמן, ואחר כך לפנות חזרה לווירג'יניה ולהתמודד עם גרנט. לי סירב בתחילה לשתף פעולה עם התוכנית. (לאחר נפילת ריצ'מונד באפריל ניסה לי להימלט לקרוליינה הצפונית ולאחד כוחות עם ג'ונסטון, אולם אז כבר היה מאוחר מדי.) בהבינו כי שרמן נע במהירות, תכנן ג'ונסטון לאחד את הארמיות הקטנות שלו כח שיוכל להנחית מכה אל מול חלק מבודד מכוחותיו של שרמן, אשר התקדם בשני ראשים נפרדים. ב-19 במרץ 1865 הצליח ג'ונסטון להפתיע את האגף השמאלי של שרמן בקרב בנטונוויל, ונחל הצלחה טקטית ראשונית. עם זאת כוחות האיחוד העדיפים מספרית אילצו אותו לבסוף לסגת אל ראלי, בירת קרוליינה הצפונית. כיוון שלא יכול היה להגן על הבירה, נסוג אל גרינסבורו.
לאחר שנודע לו על כניעתו של רוברט אדוארד לי באפומטוקס קורט האוס ב-9 באפריל, הסכים ג'ונסטון להפגש עם גנרל שרמן בין קווי החזית, בחווה קטנה שנודעה בשם בנט פלייס, סמוך לאן ששוכנת היום העיר דרהאם, בקרוליינה הצפונית. לאחר שלושה ימים של משא ומתן (ב-17, 18, ו-26 באפריל), הסכים ג'ונסטון לכניעת ארמיית הטנסי וכל הכוחות הסרים למרותו בקרוליינה הצפונית, קרוליינה הדרומית, ג'ורג'יה, ופלורידה. הייתה זו הכניעה הגדולה ביותר במלחמה, וכללה 98,270 חיילים. הנשיא דייוויס חשב שג'ונסטון ביצע מעשה בגידה כיוון שנכנע עם כל כך הרבה חיילים שלא הובסו באופן מפורש בקרב. ג'ונסטון קיבל חנינה ב-2 במאי בגרינסבורו.
לאחר הכניעה היקצה שרמן עשרה ימים של מנות קרב לחיילי הקונפדרציה הרעבים, ואישר להם גם לקחת עימם את הסוסים והפרידות, על מנת שיוכלו לשוב ולעבד את אדמתם. הוא הורה גם על חלוקת תירס, סובין, וקמח לאזרחים ברחבי הדרום. היה זה מעשה נדיבות שג'ונסטון לא שכח מעולם; הוא כתב לשרמן שהתנהגותו "פִּיְיסָה במעט את מה שקודם חשבתי שהוא האסון של חיי, זאת שנאלצתי להתמודד מולך בשדה הקרב."
לאחר המלחמה.
ג'ונסטון נאבק לפרנס את עצמו ואת אשתו, אשר נפלה למשכב. הוא התמנה לנשיא קו רכבת קטן, "חברת הרכבות של אלבמה ונהר טנסי" , אשר בתקופתו בתפקיד שינתה את שמה ל"קו הרכבת של סלמה, רומא, ודלטון" . ג'ונסטון השתעמם בתפקיד זה, והחברה כשלה בגלל העדר מימון. בשנת 1868 הוא הקים חברת ביטוח בסוואנה, ג'ורג'יה, יִצג כסוכן את חברת הביטוח "ליברפול את לונדון את גלוב", וארבע שנים אחר כך כבר הייתה לו רשת של 120 סניפים ברחבי הדרום העמוק.
ההכנסה ממיזם זה אפשרה לו להקדיש את זמנו לעסוקו העיקרי אחרי המלחמה, כתיבת זיכרונותיו, כמו שעשו רבים מעמיתיו הקצינים. סיפרו Narrative of Military Operations (1878) מתח ביקורת חריפה על הנשיא דייוויס ועל רבים מעמיתיו הגנרלים. הוא חזר על עלבונו בדבר דרגתו בצבא בקונפדרציה, וניסה להצדיק את פעולותיו כמנהיג צבאי זהיר. מכירות הספר היו דלות, והמוציא לאור לא ראה ממנו רווח.
אף על פי שרבים מן הגנרלים של הקונפדרציה מתחו ביקורת על ג'ונסטון, דווקא שרמן וגרנט התייחסו אליו בחיוב בזיכרונותיהם. שרמן תיאר אותו כיריב מסוכן וערמומי, ומתח ביקורת על אויביו ג'פרסון דייוויס וג'ון בל הוד. גרנט תמך בהחלטות שקיבל ג'ונסטון במערכת ויקסבורג: "ג'ונסטון הבין את המצב לאשורו, ובחוכמה, לדעתי, נמנע מלתקוף אותנו, מכיוון שזה היה מוביל לאבדות לשני הצדדים בלא להוביל לשום תוצאה." בנתחו את מערכת אטלנטה, כתב גרנט:
ג'ונסטון עבר מסוואנה לריצ'מונד בחורף 1876–1877. הוא שירת בבית הנבחרים ה-46 בין 1879 ל-1881 מטעם המפלגה הדמוקרטית. הוא לא רץ לכהונה נוספת. הוא מונה לנציב מסילות הרכבת בממשלו של הנשיא גרובר קליבלנד. לאחר שנפטרה אשתו בשנת 1887, החל ג'ונסטון לנסוע לעיתים קרובות למפגשים של ותיקי קרבות, שם תמיד התקבל בתשואות. הוא היה חבר של כבוד בעמותת "בני המהפכה האמריקנית" מטעם מחוז קולומביה, ומונה לחבר לאומי בעמותה בשנת 1963.