Cavendish ble så utnevnt til Lord Chamberlain, som den gangen var en mer politisk stilling enn i dag, og innehaveren ble regnet som medlem av regjeringen. Den nye regjeringen hadde stor suksess i syvårskrigen, særlig 1759 var en eneste lang rekke med britiske seire. I 1760 døde imidlertid Georg II, og Georg III tok over. Den nye kongen hadde lite til overs for Pelham-Holles, som trakk seg 26. mai 1762. Kongens favoritt, John Stuart, 3. jarl av Bute, ble utnevnt som erstatter. Cavendish deltok nesten aldri på Stuarts regjeringsmøter og ble avsatt kort tid senere.