Tras la expulsión de los moriscos, fortificación y población sufren una acentuada decadencia que, en el caso de la primera y pese al florecimiento de la villa, no ha cesado.