Han ble valgt inn til underhuset i parlamentet fra Derbyshire i 1741 og 1747. Der var Cavendish en støttespiller for Robert Walpole og, etter hans fall, brødrene Henry Pelham og Thomas Pelham-Holles.