Con el paso de los años y tras sufrir los estragos de la Guerra Civil Española, el palacio estuvo a punto de ser derruido.