Otra parte de los gibraltareños originales optó por trasladarse a las cercanías de la ermita de San Isidro, dando así origen años más tarde a la villa de Los Barrios, mientras que una minoría buscó refugio en las ruinas de la ciudad de Algeciras, deshabitada desde 1379, año en que la ciudad fue destruida e incendiada por los nazaríes al ver que serían incapaces de conservarla ante el avance de las tropas cristianas.El rey de España Felipe V, nombre con el que fue coronado Felipe de Anjou, ordenó al marqués de Villadarías que sitiara la Plaza de Gibraltar.