Era hijo de un productor de algodón; por ese motivo, Brown tuvo que trasladarse muy joven, junto a su familia, al Sur de los Estados Unidos.