Tras varios incendios, se derriba el palacio en 1903, pero se salvan la portada y el patio, que fueron adquiridos por un anticuario parisino, permaneciendo en París unos 50 años.