Brown etterfulgte i 1979 Julian Carroll som guvernør, og ble selv etterfulgte i 1983 av Martha Layne Collins. Han stilte uten fremgang til demokratenes primærvalg før guvernørvalget i 1987.