Tras la invasión musulmana resultó destruido el castillo con sus murallas que se alzaba en el pago de «El Castro».