Харди присоединился к группе офицеров, которые настаивали на смещении Брэгга, и в итоге президент Дэвис сместил Брэгга, назначив на его место Джозефа Джонстона, который и возглавил армию во время битвы за Атланту в 1864 году. Под его командованием Харди участвовал в сражении за гору Кеннесо, где удачно отразил крупную атаку федеральной армии. Осторожная тактика Джонстона вызвала, однако, недовольство в правительстве, и Джонстона заменили на более агрессивного Джона Худа. Харди сразу невзлюбил Худа за неосторожные атаки, приводящие к тяжелым потерям, и после сражения при Джонсборо попросил перевести его из армии Худа. Его направили в департамент Южной Каролины, Джорджии и Флориды. там он, как мог, противодействовал наступлению Шермана, и 20 декабря 1864 года провел эвакуацию Саванны. Когда Шерман повернул на север, Харди участвовал в сражении при Бентонвилле, где во время кавалерийской атаки был смертельно ранен его единственный сын, 16-летний Вилли. 26 апреля Харди вместе с Джонстоном сдался генералу Шерману у Дурхам-Стейшен.