Sufrió en varias ocasiones el intento de derribo para diversos provechos, la primera vez fue después del terremoto de Lisboa de 1755 al cual sobrevivió, años más tarde se reconstruyeron los desperfectos que causó el terremoto en la torre.