Siguiendo las recomendaciones de Isidro González Velázquez, en 1816 se procedió a demoler las partes más afectadas del palacio del Buen Retiro, sin embargo, al estar el Patrimonio de la Corona falto de dinero, no se pudo acometer la restauración de aquellas que se había decidido conservar.