Obwohl Stewart gegen die Sezession war schloss er sich 1861 der Miliz von Tennessee und dann dem konföderierten Heer als Major der Artillerie an und wurde noch im selben Jahr zum Brigadegeneral befördert. Als Kommandeur einer Infanteriebrigade im Westlichen Kriegsschauplatz nahm er an zahlreichen Gefechten teil; einschließlich Shiloh, Corinth, Perryville und Stones River.