Brown var chefsdomare i Georgias högsta domstol 1865–1870 och verkställande direktör för Western and Atlantic Railroad 1870–1880. Han var med i republikanerna under Rekonstruktionstiden men bytte sedan parti tillbaka till demokraterna. Han efterträdde 1880 John Brown Gordon som senator för Georgia. "Bourbon Triumvirate" är en benämning för Brown, Gordon och Alfred H. Colquitt som de tre ledande politikerna i Georgia efter Rekonstruktionstiden. Brown efterträddes 1891 som senator av företrädaren Gordon.