Nach der endgültigen Kapitulation des Südens im April 1865 wurde Brown kurzzeitig verhaftet und in Washington inhaftiert. Nach seiner Freilassung unterstützte er die Rekonstruktionspolitik von Präsident Andrew Johnson. Im September 1865 wurde er auf der ganzen Linie begnadigt. Nachdem er Mitglied der Republikanischen Partei geworden war, wurde er für zwei Jahre Oberster Richter am Gerichtshof von Georgia. Nach dem Ende der Besatzungszeit kehrte er zu den Demokraten zurück und war sowohl als Anwalt als auch als Geschäftsmann erfolgreich. Zusammen mit John Brown Gordon und Alfred H. Colquitt gehörte er zu dem sogenannten „Bourbon-Triumvirat“, das den Staat Georgia zwischen 1872 und 1890 politisch weitgehend kontrollierte. Zwischen dem 26. Mai 1880 und 3. März 1891 saß Brown außerdem für Georgia im Senat der Vereinigten Staaten. Aufgrund seines schlechten Gesundheitszustandes trat er 1891 von diesem Amt zurück. Er starb im November 1894.