El fuerte fue reconstruido después por los españoles en 1680 pero el poblado y el castillo fueron tomados nuevamente en 1740 por las fuerzas inglesas bajo el Almirante Edward Vernon.