Ved den tredje hertugens død overtok hans sønn som ble den fjerde hertugen. Han var en dyktig politiker og ble innkalt til House of Lords. Han brukte tittelen faren hadde hatt før han ble hertug, Baron Cavendish av Hardwicke når han møtte i House of Lords. I perioden 1756 til 1757 var han First Lord of the Treasury og titulær statsminister i Storbritannia. Devonshire ble gift med Charlotte Boyle, 6. baronesse Clifford, datter av den kjente arkitekten Richard Boyl, 3. jarl av Burlington (hans jarltittel opphørte å eksistere ved hans død). Deres tredje og yngste sønn Lord George Cavendish ble gjort til jarl av Burlington i 1831. Den fjerde hertugen av Devonshire ble etterfulgt av sin eldste sønn, den femte hertugen. Han hadde allerede etterfulgt moren som 7. baron Clifford i 1754. Han tjenestegjorde som stattholder av Derbyshire fra 1782 til 1811 men er best husket for sitt første bryllup med Georgina Spencer. Når prins William blir konge vil Cavendishfamilien være i slekt med kongefamilien, ettersom Georgina var datter av John Spencer, 1. jarl Spencer, som er direkte forfader til Diana og dermed også William.