Asimismo, en el último tercio del XVI, se erigieron las construcciones militares destinadas a defender la población, como la muralla norte y la torre de Santa Ana, junto al Charco de los Abades o Caleta de San Sebastián (San Telmo), que durante casi cuatro centurias fue el principal punto de entrada y salida de pasajeros y mercancías.