En el siglo XVII y principios del XVIII, la pérdida de su patrimonio, agravada por la crisis económica y por conflictos como la Guerra de Restauración portuguesa y la Guerra de Sucesión Española, provocó un descenso de la población que hizo que en el siglo XVIII se convirtiera en una ciudad semidesértica y llena de edificios ruinosos.