En el año 995, Almanzor destruye la fortaleza y su iglesia de Santa María del Castillo durante una de sus campañas militares.