Los piratas también realizaban incursiones en la zona, y para detenerlos se construyó el Fuerte de San Fernando, el cual fue destruido con los primeros embates del enemigo.