El palacio estuvo a punto de ser destruido por las tropas austracistas de Edward Hamilton durante la Guerra de Sucesión Española a principios del siglo XVIII, salvándose por la actuación del capellán del marqués (Carlos de Praves).