Hacia 1535 se inició la construcción de la fortaleza, sobre todo con piedra de coral del lugar, con el fin de proteger del fondo a las embarcaciones por el mal tiempo, pero principalmente y junto con el desaparecido sistema de murallas y baluartes de la ciudad de Veracruz, para proteger a este importantísimo puerto de los ataques de piratas, corsarios y filibusteros.