I løpet av 15- og 1600-tallet ble byen utsatt for mange angrep fra pirater og engelske kapere, noe som førte til at det ble bygget flere festningsverk. Mest kjent er festningen (bygd i perioden 1638 og 1643) som er beskyttet av UNESCO på samme måte som Røros i Norge. I dag tjener festningen som et museum over sjørøvernes historie i Karibien.