Aquest edifici es va ensorrar i el 1533 el rei Francesc I va fer posar la primera pedra d'un altre més gran i sòlid. Les obres es van confiar a l'arquitecte italià Domenico da Cortona. Les obres es van acabar el 1628. Encara que el 1836 i el 1850 es van fer més ampliacions, es va conservar la façana renaixentista ideada per Cortona. En el moment de l'Exposició Universal, el 1867, les reformes a l'interior estaven enllestides i s'hi van celebrar balls i banquets amb els convidats d'honor, els quals podien admirar-hi quadres de Delacroix i d'Ingres.