Hacia el año de 1535 se inició la construcción de la fortaleza principalmente con piedra de coral del lugar, con el fin de proteger del fondeo a las embarcaciones por el mal tiempo, pero principalmente y junto con la desaparecido sistema de murallas y baluartes de la ciudad de Veracruz, proteger a este importantísimo puerto de los ataques de piratas y filibusteros.