Durante la Comuna de París, el incendio provocado por un grupo de comuneros en 1871 redujo a cenizas el palacio.