Durante la época de estancamiento, que se alargó hasta la segunda mitad del siglo XVIII, los duques fueron abandonando su residencia para instalarse en Madrid.