Se cree que inicialmente Taganga fue una encomienda perlera y de pescado, a razón de que en la boca del fuerte San Antonio había un banco de perlas, el fuerte de San Antonio estaba situado en la eminencia de una colina de las cuatro en que se dividen las abras de Santa Ana, fue construido por el gobernador Juan Beltrán de Caicedo en 1719, con el fin de ayudar con su fuego a la defensa, por la parte interior de la bahía de Santa Marta hiciese resistencia por la exterior a las embarcaciones que intentasen entrar por la ensenada de Taganga, cuya boca domina alcanzando su cañón al cabo de la aguja.