En el siglo XVIII los duques trasladan su residencia a Madrid, con lo que se inicia la decadencia de la villa.