Hacia 1550 los españoles construyerón la Fortaleza de Santa Bárbara, sobre una colina desde donde se divisa toda la bahía; sin embargo, era inadecuada para defender la villa de los piratas, justamente la reunión más grande de piratas se realizó en las cercanías de esta bahía en 1683) o rivalizar con las otras potencias colonialistas (Holanda, Francia e Inglaterra).