La reconstrucción del palacio (1948-56) tuvo que ser impulsada por la nueva duquesa Cayetana y su primer marido, pues el viejo duque falleció en 1953, cuando sólo se habían efectuado los trabajos de cimentación.