Las incursiones de piratas berberiscos y corsarios turcos hizo necesaria la construcción de la Torre del Catalán durante el reinado de Felipe II, junto a otras torres almenaras en la costa de Huelva. En esos años la costa de Lepe se ubicaba en los cabezos sobre los que se ubica la torre, a los pies de los cuales había algunos arenales y caños de agua. El terremoto de Lisboa de 1755 cambió la configuración del litoral y causó grandes daños en Lepe. Fuentes de la época achacaron al terremoto la ruina del Castillo de Lepe, aunque a finales del siglo XVIII se encontraba en pie y es tras la Invasión francesa a España cuando se menciona que solo quedan ruinas.