Zwischen 1852 und 1858 war Brown Abgeordneter im Repräsentantenhaus von Missouri. Gleichzeitig war er im Zeitungsgeschäft tätig. Zwischen 1854 und 1865 gab er die Zeitung „Missouri Democrat“ heraus. Im Jahr 1857 bewarb er sich erfolglos um das Amt des Gouverneurs von Missouri. Als Gegner der Sklaverei wurde Brown Mitglied der Republikanischen Partei, von der er sich aber später wieder trennte. Danach schloss er sich der kurzlebigen Liberalrepublikanischen Partei an. Zu Beginn des Bürgerkrieges diente er als Offizier in der Unionsarmee. Zwischen 1863 und 1867 vertrat er seinen Staat im US-Senat. Dort war er ein Gegner der Rekonstruktionspolitik des neuen Präsidenten Andrew Johnson. Am 8. August 1870 wurde er zum neuen Gouverneur seines Staates gewählt.