Dos incendios ocurridos, el uno en 1684 y el otro en 1777, arruinaron casi enteramente este palacio, desapareciendo en las llamas un sinnúmero de producciones maestras de escultura y pintura.