Til tross for fortsatte trusler ble Gibraltar oversett og dens festningsverker forfalt. Barbareskpirater, fra Barbareskkysten i Nord-Afrika, dro fordeler av det svake forsvaret ved å gå til stort angrep i september 1540 og grep hundrevis av borgerne som gisler eller slaver. Mange av fangene ble dog løslatt da en spansk flåte avskar piratskipene da de brakte løslatte gisler tilbake til Gibraltar. Den spanske krone besluttet å gjøre noe med Gibraltars utsatte posisjon i 1552 ved å ansette den italienske ingeniøren Giovanni Battista Calvi til å planlegge forsterkningen av forsvaret. En mur ble bygget, i dag kalt for nettopp «Charles V Wall», dessuten en vollgrav ved bymuren og klaffebru ved Puerta de Tierra. Sjøen rundt Gibraltar fortsatte å være et farlig område i flere tiår på grunn av barbareskpirater, skjønt en liten skvadron av spanske galeier lå fast i havnen for å slå tilbake angrep, men var lite effektiv og mange fra Gibraltar ble tatt og solgt på muslimske slavemarkeder. Som svar på byens forfatning etablerte byens tiggermunker fra mercedarierordenen (ordenen til de tilfangetagne, eller ordenen til den velsignede Jomfrun Maria av Nåden) et kloster ved stedet i 1581 hvor de tigget for penger for å kjøpe fri de bortførte. Problemet ble forverret etter 1606 da Spania utviste hele befolkningen av 600 000 – maurere som hadde blitt igjen i Spania eller tilsynelatende konvertert til kristendommen. Mange av de utviste reiste til Nord-Afrika via Gibraltar, men mange endte opp som pirater og herjet så langt unna som i Cornwall i England.