Après la reddition du fort Donelson, il est prisonnier de guerre pendant six mois dans le fort Warren, Massachusetts, avant d'être échangé en . Peu après, il est promu brigadier général par le département confédéré à la guerre et affecté au commandement d'une brigade plus importante composée de troupes de Floride et du Mississippi. Il prend part aux campagnes de Braxton Bragg dans le Kentucky et le Tennessee entre la fin 1862 et 1863. Brown est blessé lors des batailles de Perryville et Chickamauga pendant qu'il commande sa brigade. Ses hommes font partie de la ligne de défense sur Missionary Ridge en 1863.