En Jamaica se enamoraría de una criolla, Anne Lascelles, con la que contrajo matrimonio en 1747; con ella se trasladó a Londres, donde intentaba ganarse la vida honradamente en un consultorio de Downing Street de escaso éxito.