La hija de Burlington, Charlotte, contrajo matrimonio con William Cavendish, cuarto duque de Devonshire, y la casa y los jardines pasaron a la familia Cavendish luego de su temprana muerte.