I de første årene under hertugen av Medina-Sidonia ble Gibraltar et hjem for en befolkning av forviste sefardiske jøder. Pedro de Herrera, en jødisk (spanske jøder som var blitt tvangskonvertert til katolisismen) fra Córdoba som hadde ledet erobringen av Gibraltar førte en gruppe på 4 350 jøder fra Córdoba og Sevilla for å etablere seg i byen. Et samfunnet ble bygget og en garnison ble etablert for å forsvare halvøya. Imidlertid varte dette kun tre år. I 1476 ble Medina-Sidonia regulert i henhold til den spanske kronen og de sefardiske jødene ble tvunget tilbake til Córdoba og den spanske inkvisisjonen. I 1501 ble Gibraltar underlagt den spanske kronen, noe som var blitt etablert i 1479. Gibraltar ble gitt eget våpenskjold ved kongelig fullmakt i Toledo ved Isabella I av Castilla i 1501. Våpenskjoldet blir fortsatt brukt.