Eugène Millet, ein Schüler Eugène Viollet-le-Ducs, wurde 1862 damit beauftragt, die alte Anlage museumsgerecht umzubauen. Millet entschied sich dafür, Zubauten und Erweiterungen abzubrechen und den Gebäudezustand des 17. Jahrhunderts nach Zeichnungen Jacques Androuet du Cerceaus und Israël Silvestres wiederherzustellen. Zeitgleich mit den ersten Bauarbeiten wurde von 1862 bis 1864 auch der barocke Garten nördlich des und der sich daran anschließende Park restauriert und der Öffentlichkeit zugänglich gemacht. Das Museum wurde aus Anlass der Pariser Weltausstellung offiziell am 12. Mai 1867 eingeweiht, obwohl die Umbau- und Wiederherstellungsarbeiten noch bis 1907 andauerten und erst unter Honoré Daumet zum Abschluss kamen.