Bygningen ble skadet under flere jordskjelv. Særlig jordskjelvet i 1348 gjorde tårnet ubeboelig, og derfor ikke lenger brukt. På 1500-tallet styrtet det delvis sammen flere ganger. Først i 1620 ble det restaurert, men så ble det skadet igjen i jordskjelv i 1630 og 1644. Pavene Urban VIII og Alexander VIII lot det gjenoppbygge mot slutten av 1600-tallet og forsterket det med strebebuer.