I foråret 1864 stod Johnston overfor generalmajor William T. Sherman, som rykkede frem fra Chattanooga i retning af Atlanta i Georgia. Johnston vendte tilbage til sin strategi med langsom tilbagetrækning. Han gennemførte en række operationer, hvor han forberedte stærke forsvarspositioner, blot for at se Sherman manøvrere rundt om dem og tvinge Johnston til at trække sig tilbage i retning af Atlanta. Johnston betragtede det som vigtigst af alt at holde hæren intakt og gik derfor meget forsigtigt til værks. Han håndterede sin hær godt og afstedkom større tab, end han selv led. Den 27. juni besejrede han Sherman i Slaget ved Kennesaw Mountain, men den rent defensive sejr forhindrede ikke Sherman i at fortsætte sin offensiv. Kritikere har hævdet, at Johnstons strategi var rent defensiv, og at hans manglende vilje til at risikere en offensiv umuliggjorde en sejr for Sydstaterne.