Союз пяти начал раскалываться в 1672 году, когда утверждались Королевская декларация религиозной терпимости, финансирование Третьей англо-голландской войны и политика англо-французских отношений. Между Бэкингемом и Арлингтоном обострились личное соперничество и конфликт из-за внешней политики . Министерство стало очень непопулярным, отмечено произволом. К концу года, Эшли, теперь граф Шефтсбери, стал лордом-канцлером, передав дела казначейства Клиффорду и Данкомбу. Он публично продавливал кардинальную реформу правительства, приняв сторону оппозиции против своих коллег и короля. Из-за борьбы Клиффорд ушёл в отставку и удалился от общественной жизни. Шефтсбери был заменен Томасом Осборном, который вскоре, летом 1673 года, становится графом Дэнби и немедленно утверждает свою власть над оставшимися членами «Министерства Кабаль». Вражда Бэкингема с Арлингтоном привела к утечке сведений из секретного Дуврского договора, в 1674 году Бэкингем впал в немилость. Арлингтон оставался «южным секретарём» до сентября. Лодердейл сохранил свои позиции и автономную власть в Шотландии, став врагом Шефтсбери. Шефтсбери стал агитировать против короля и его брата, герцога Йоркского, будущего короля Якова II; он на короткое время вернулся в правительственный Тайный совет и взял на себя инициативу в формировании политической группы, которая в конечном счете станет известной как партия вигов.