Il palazzo subì alcuni danni durante la rivolta di Masaniello del 1647 e durante il terremoto del 1688. Nel corso del XIX secolo sono stati numerosi i passaggi di proprietà che hanno visto i legittimi proprietari provare di volta in volta a modificare la destinazione d'uso della struttura, facendola diventare prima una fabbrica di cristalli (1824) e poi un albergo (con l'acquisto dei Geisser nel 1870 circa). Negli anni successivi si sono succeduti ancora altri proprietari, come la Banca d'Italia nel 1894 ed i Genevois due anni più tardi.