El citado don Francisco, último marqués de la línea directa, ordenó una remodelación del Palacio en 1804 y murió sin descendencia en 1837.