La expulsión de la población morisca ocasionó perjuicios económicos muy graves a los condes de Coloma, por falta de recaudación de impuestos, que se vieron obligados a trasladarse a Valencia, fijando allí su residencia, y comenzando así el deterioro de la fortaleza.