Den 27. mars 1748 giftet Cavendish seg med Charlotte Elizabeth Boyle, 6. baronesse Clifford (27. oktober 1731 – 8. desember 1754), datter av Richard Boyle, 3. jarl av Burlington. De fikk fire barn: William Cavendish, 5. hertug av Devonshire (14. desember 1748 – 29. juli 1811) Dorothy Cavendish (27. august 1750 – 3. juni 1794), gift med William Cavendish-Bentinck, 3. hertug av Portland Richard Cavendish (19. juni 1752 – 7. september 1781) George Cavendish, 1. jarl av Burlington (31. mars 1754 – 4. mai 1834). Etter hans morfars død ble tittelen regnet som utdødd. Den ble opprettet på nytt for George Cavendish, og nummereringen begynte forfra igjen.