Gdy w roku 1861 wybuchła wojna secesyjna rodzinny stan Smitha, Kentucky, stał się stanem granicznym. Po kilku miesiącach wahania Smith zjawił się w Richmond i zgłosił gotowość do służby w armii konfederackiej. 19 września otrzymał stopień generała-majora i został skierowany do Armii Północnej Wirginii. Uczestniczył − jako dowódca skrzydła − w bitwie pod siedmioma sosnami w pobliżu Richmond w czasie kampanii półwyspowej.