Brown vokste opp i Exeter i New Hampshire i USA, som den eldste av tre barn. Hans bror er komponisten Gregory W. Brown. Moren hans var profesjonell musiker og spilte orgel i kirken, mens faren skrev lærebøker og var matematikklærer.