Sin embargo, y a pesar de que corsarios de distintas nacionalidades habían incursionado la zona, entre ellos Francis Drake en 1577, Garay dejó libre un solar para construirlo, pero no realizó edificación alguna.