16 marca 1861 roku Smith dołączył do wojsk Konfederacji jako major regularnej artylerii, po czym został przeniesiony do kawalerii z natychmiastowym awansem na podpułkownika. Przesłużywszy pewien czas jako generał adiutant gen. bryg. Josepha Egglestona Johnstona podczas walk w dolinie Shenandoah został 17 czerwca awansowany na generała brygady i objął dowództwo nad brygadą armii Shenandoah. Prowadził ją w bitwie nad Bull Run 21 lipca. Poważnie raniony w szyję i bark, odzyskiwał siły dowodząc Departamentem środkowej i wschodniej Florydy. Do służby powrócił 11 października, już jako generał dywizji w armii Północnej Wirginii.