I oppveksten sang Brown i kirken, gikk på søndagsskole og deltok på kristne sommerleirer. I 1982 ble han immatrikulert ved Amherst College, der han studerte komposisjon. Da han ble uteksaminert i 1986 sto valget mellom å bli forfatter eller musiker – det siste "hørtes mer morsomt ut" og var den yrkeskarrieren han forsøkte seg på først.