Cuando la ciudad se incorpora a la Corona de Castilla en 1729, la Casa de Medinaceli retiene la propiedad del castillo que es clausurado en 1868 y abandonado hasta su restauración, por los años 40 del siglo XX.