Smith rejoint l'armée confédérée, en 1861, avec le grade de lieutenant. En , il devient commandant et adjudant-général du général Leonidas Polk. Lors de la bataille de Shiloh, Smith devient lieutenant-colonel du 2nd Tennessee Infantry. Le général Bushrod Johnson félicite Smith sur sa bravoure à la bataille de Perryville et il prend le commandement du 5th Confederate Infantry après avoir été promu colonel le . Le 5th Confederate Infantry est le résultat de la consolidation du 2nd Tennessee et du 21st Tennessee Infantry. Sa bravoure est également remarquée lors de la bataille de Murfreesboro par les deux généraux Cleburne et Leonidas Polk. Après sa performance lors de la bataille de Chickamauga et les éloges qu'il reçoit de Polk, Smith est promu au brigadier général le .