Es entonces cuando, según algunas fuentes, Táriq ibn Ziyad reconstruye y establece en realidad las primeras estructuras defensivas de su castillo; un emplazamiento que se vería abocado a soportar numerosos conflictos bélicos entre estos clanes árabes.