El palacio estuvo a punto de ser destruido por las tropas austracistas de Edward Hamilton durante la Guerra de Sucesión Española a principios del siglo XVIII, salvándose por la actuación del capellán del marqués, el poeta Carlos de Praves, gracias a lo cual hoy podemos admirarlo.