羅金漢侯爵
卡文迪許此後在議會處於在野狀態，一直到1782年3月，羅金漢侯爵隨著英國在美國獨立戰爭中戰敗而第二度出任首相，並在3月27日委任卡文迪許為財政大臣，同日他又獲委為樞密院顧問官。不過，羅金漢突然在同年7月1日死於任內，政府隨即出現分裂。羅金漢死後，喬治三世委任親皇室的內政大臣謝爾本伯爵接任首相，但外相查爾斯·詹姆士·福克斯及卡文迪許皆大表反對，並向喬治三世要求由波特蘭公爵出任首相。他們的請求被拒絕後，兩人與其他羅金漢黨人旋於7月從內閣辭職，謝爾本卻邀請托利黨的小皮特加入內閣，接任財相，使輝格黨進一步陷入嚴重分裂。