Els terratrèmols dels anys 1427-1428 iniciaren la ruïna definitiva del castell. El 1554 el virrei marquès de Tarifa manà destruir el castell que, abandonat i mig enderrocat, s'havia convertit en un amagatall de bandolers durant les lluites entre nyerros i cadells. Amb l'enderroc del castell es trasllada la imatge de la Mare de Déu a l'església de Sant Cristòfol, al pla on avui hi ha l'església del Remei.