Su esposa, antes su veinteañera amante, Elisabeth Vassal, (1770 - 1845), con la que casó en julio de 1797 al divorciarse su anciano marido Sir Godfrey Webster, 4th Baronet (1719 – 1800), por adulterio de Elizabeth con Henry Richard Fox, y de la que intercaló el apellido Vassal en sus firmas de documentos, provenía de una familia inglesa descendiente de hugonotes perseguidos franceses y establecidos de plantadores en Jamaica.