La ciudad permaneció destruida hasta 1704 cuando un grupo de gibraltareños huidos del peñón tras la ocupación de las tropas "anglo-holandesas" aliadas con el archiduque Carlos de Austria en la Guerra de Sucesión Española se asentaron en las ruinas de la medina árabe.