En el se inició el declive de la atalaya, debido principalmente a su alejamiento de la costa por la colmatación del estero ubicado a los pies de su acantilado. El terremoto de 1755, que derribó en Lepe 311 de las 382 casas existentes, aceleró este proceso y dejó la torre a un kilómetro de distancia de la orilla.