Durante los siglos XV y XVI, la fortaleza parece definitivamente abandonada, no así la población que siguió prosperando, de tal forma que en el año 1510 contaba con 230 familias que, en 1595, habían pasado a ser 2.115 habitantes, de los que la mayoría eran moriscos.