Cavendish var den yngste sønn av William Cavendish, 2. hertug av Devonshire og hans kone Rachel Russell. Han giftet seg den 9. januar 1727 med lady Ann Grey (død 20. september 1733), datter av Henry Grey, 1. hertug av Kent. De hadde to barn sammen: Henry Cavendish (10. oktober 1731 – 24. februar 1810) og Frederick Cavendish (24. juni 1733 – 23. februar 1833). Cavendish ble valgt inn i House of Commons som representant for distriktet Heytesbury i 1725 og han holdt dette setet frem til 1741. Han var medlem av det britiske Royal Society og han ble tildelt Copleymedaljen for sitt arbeid i utviklingen av termometre som registrerte maksimums- og minimumstemperaturer.