Da garnisonen marsjerte ut den 7. august i prosesjon under dronning Isabellas bannere, ble de fulgt av de fleste av innbyggerne, rundt 4 000 mennesker totalt. De hadde grunn til å tro at deres landflyktighet ikke ville være langvarig. De tok med seg symboler og objekter tilhørende Gibraltars historie: byrådets og kirkens opptegnelser, inkludert de historiske dokumenter som var signert av de katolske monarker i 1502, tillatelsen for Gibraltars våpenskjold og statuen av den hellige kronete jomfru Maria. De fleste tok tilflukt i nærheten av kapellet San Roque med håp om en rask gjenerobring av Gibraltar, noe som aldri skjedde. Der ble en ny bosetning opprettet, og gitt et byråd to år senere i 1706 under navnet San Roque og av den spanske kronen betraktet som arvinger til den tapte byen Gibraltar. Her er også Gibraltars gamle dokumenter fortsatt oppbevart. Andre bosatte seg i hva som i dag er Los Barrios eller i den ødelagte og forlatte byen Algeciras. Kun rundt 70 mennesker ble igjen i byen Gibraltar, de fleste religiøse mennesker uten familie eller handelsfolk fra Genova.