Sufrió numerosas ampliaciones y recortes a lo largo de su historia, y el diseño actual corresponde en su mayor parte a las obras realizadas por el arquitecto Jean-François-Thérèse Chalgrin durante el Primer Imperio francés.