1861 trat Brown als Hauptmann dem 3. Infanterieregiment des provisorischen Heeres von Tennessee bei und wurde am 16. Mai desselben Jahres zum Kommandeur dieses Regiments ernannt, das in das konföderierte Heer eingegliedert wurde. Bei der Schlacht um Fort Donelson vom 14. bis 16. Februar 1862 kommandierte Brown die dritte Brigade von Generalmajor Buckners Division, die von der Tennessee-Armee der Union belagert wurde. Als am 16. das Fort von den Unionstruppen eingenommen wurde, nahmen diese Brown gefangen und ließen ihn erst sechs Monate später wieder frei. Nach seiner Freilassung schloss er sich wieder den Konföderierten an und wurde am 30. August 1862 zum Brigadegeneral befördert. Er nahm an der „Heartland“ Offensive teil und wurde am 8. Oktober 1862 in der Schlacht bei Perryville verwundet. Bei der Schlacht am Chickamauga am 19. und 20. September 1963 wurde er wieder verwundet. Nach seiner Genesung nahm er am Atlanta-Feldzug teil und wurde am 4. August 1864 zum Generalmajor befördert.