Le général Stevenson est affecté à l'armée du Tennessee à Chattanooga, Tennessee, et reçoit le commandement d'une division dans le corps d'armée de William J. Hardee, stationnée sur le flanc droit, gardant . Il retire ses troupes après la bataille de Lookout Mountain et détruit les ponts au-dessus de et d'autres cours d'eau afin de retarder l'avance du corps de l'Union de Joseph Hooker. Il renforce la principale ligne de bataille confédérée sur Missionary Ridge juste avant la bataille de Chattanooga. Au cours de la campagne d'Atlanta de 1864, la division de Stevenson est dans le corps de John Bell Hood et combat lors des batailles autour d'Atlanta, y compris la Resaca, Kennesaw Mountain et Peachtree Creek. Lorsque le général Hood est élevé au commandement de l'armée, Stevenson prend temporairement le commandement du corps de Hood.