Després dels Cent Dies i Waterloo, l'actitud de les potències aliades canviarà. A més de la pèrdua de tots els augments de territori atorgats pel Tractat de París, els aliats exigiran la devolució de totes les obres d'art que havien estat confiscades als territoris ocupats. Algunes personalitats alemanyes, com Alexander von Humboldt, no es consideren prou actius per a reprendre el treball i desmantellar les col·leccions del museu. S'endeguen campanyes a la premsa alemanya per accelerar aquesta represa. Comença des del 13 de juliol del 1815. El novembre del 1815, 5203 obres d'art, entre les quals 2065 pintures, havien estat restituïdes. La major part dels quadres que havien estat enviats als museus de província s'hi quedaren. Denon aconseguí conservar un centenar de quadres, en particular els primitius italians que havia adquirit en la seva missió del 1811, les "Noces de Canà" de Veronese, i vuit-cents dibuixos.