月出任首相时，他随之获委任为财政部委员，但很快就因罗金汉在1766年7月下野而卸任。卡文迪许此后在议会处于在野状态，一直到1782年3月，罗金汉侯爵随着英国在美国独立战争中战败而第二度出任首相，并在3月27日委任卡文迪许为财政大臣，同日他又获委为枢密院顾问官。不过，罗金汉突然在同年7月1日死于任内，政府随即出现分裂。罗金汉死后，乔治三世委任亲皇室的内政大臣谢尔本伯爵接任首相，但外相查尔斯·詹姆士·福克斯及卡文迪许皆大表反对，并向乔治三世要求由波特兰公爵出任首相。他们的请求被拒绝后，两人与其他罗金汉党人旋