Sufrió algunos daños a causa del terremoto de Lisboa en 1755: hundió el techo del salón de honor, donde se había pintado el gran fresco que representaba la batalla de Lepanto, y desmochó las cuatro torres de las esquinas, que las crónicas de Felipe II describían como magníficas.