Ekteparet fikk kun ett barn, som også var jarlens eneste sønn. Han ble døpt Robert (1634-1658) som sin far. Anne Cavendish døde i 1638.