La ciudad permanece destruida hasta 1704 cuando un grupo de personas huidas de Gibraltar tras la ocupación de las tropas anglo-holandesas aliadas con el archiduque Carlos se asientan en las ruinas de la medina árabe, alrededor de la capilla de San Bernardo que desde entonces se llamaría de Nuestra Señora de Europa al convertirse en la morada de la imagen de la virgen de Europa que hasta entonces se encontraba en la ermita gibraltareña situada en Punta Europa y que había sido profanada por las tropas anglo-holandesas.