Su madre, Jane Randolph, era hija de Isham Randolph, un capitán de barco y antiguo latifundista, primo hermano de Peyton Randolph, descendiente de la aristocracia inglesa y escocesa.