После освобождения он отправился в Чаттанугу, в Теннессийскую армию, где стал командовать дивизией в корпусе генерала Уильяма Харди. Дивизия стояла на правом фланге армии, охраняя Лукаут-Маунтен. 24 ноября 1863 года, после неудачного сражения у Лукаут-Маунтен, Стивенсон отвёл дивизию и разрушил мосты через Чикамуга-Крик, задержав наступление корпуса генерала Хукера. Он присоединился к армии как раз перед сражением при Чаттануге и занял позиции на Мессионерском хребте. Дивизия заняла позиции на крайнем правом фланге армии и не попала под удар во время атаки Гранта, поэтому оказалась одной из немногих дивизий, которым удалось отступить, почти не понеся потерь.