Im September 1861 zwei Monate nach der ersten Schlacht am Bull Run meldete sich Smith freiwillig zum konföderierten Heer. Am 19. September 1861 wurde er zum Generalmajor befördert. Smith kommandierte während des Halbinsel-Feldzuges (März – Juli 1862) den rechten Flügel und die Reserve der Nord-Virginia-Armee. Als am ersten Tag der Schlacht von Seven Pines (31. Mai 1862 – 1. Juni 1862) Oberbefehlshaber Joseph E. Johnston verwundet wurde, musste Smith für den General das Kommando über die Armee übernehmen. Wegen der Belastung durch diese Verantwortung erlitt er einen Nervenzusammenbruch, wurde umgehend des Kommandos enthoben und durch General Robert E. Lee ersetzt. Vom 17. bis zum 20. November 1862 war er geschäftsführender Kriegsminister. Smith, der in Fehde mit Präsident Jefferson Davis lag, wurde nun nach Charleston, South Carolina versetzt, wo er unter General P.G.T. Beauregard diente. Am 17. Februar 1863 trat er aus dem Heer aus, weil er sich darüber ärgerte, dass ihm immer wieder Offiziere mit weniger Dienstjahren bei Beförderungen vorgezogen wurden. Daraufhin war er Inspektor bei der "Etowah Mining &amp; Manufacturing Company" in Georgia. Von Juni 1864 bis zum Ende des Krieges war er Kommandeur der Miliz dieses Staates und nahm an verschiedenen Gefechten in Georgia teil, in denen er seine Truppen wirksam und effizient führte. Er ergab sich im April 1865 in Macon, Georgia und wurde bald aus der Haft der Unionstruppen entlassen.