Luego de 1665 la corte nunca volvió a hospedarse en el palacio, por lo que éste y la villa circundante cayeron en decadencia.