Fort Donelsonin antautumisen jälkeen Brown joutui sotavangiksi kuudeksi kuukaudeksi ennen kuin hänet vaihdettiin elokuussa 1862. Pian sen jälkeen konfederaation sotahallinto ylensi hänet prikaatinkenraaliksi ja antoi hänen komentoonsa uuden ja isomman prikaatin, johon oli yhdistetty joukkoja Floridasta ja Mississippistä. Brown oli osa Braxton Braggin armeijaa, jonka mukana hän taisteli Kentuckyssä ja Tennesseessä 1862–1863. Brown haavoittui Perryvillen ja Chickamaugan taisteluissa johtaessaan prikaatiaan. Hänen miehensä olivat osa puolustuslinjaa Missionary Ridgessä.