Brown studerte ved Yale (avslutning i 1832) og deretter teologi i Columbia i Sør-Carolina. Deretter underviste han i fire år (1834–38) ved .