La primera construcción data del año 1507, y consistía en una torre de vigilancia mandada hacer por el III duque de Medina Sidonia, Juan Alonso Pérez de Guzmán, con el objetivo de asegurar la ciudad frente a la llegada de barcos corsarios.