No obstante, tras la expulsión la villa entró en franca decadencia, convirtiéndose en un nido de malhechores y contrabandistas que se ocultaban entre la población.