Brown deltog i inbördeskriget på sydstaternas sida trots att han personligen var emot Tennessees utträde ur USA. Han befordrades 1861 till överste, följande år till brigadgeneral och 1864 till generalmajor. Han sårades i slagen vid Perrysville, Chickamauga och Franklin.