Современное здание построено на территории королевского дворца в 1857—1868 годах по проекту архитекторов Жозефа-Луи Дюка и Оноре Доме (сам проект был предложен ещё в 1840-е годы, но отложен из-за революции 1848 года). Здание украшают скульптуры Жана-Мари Боннасьё. В октябре 1868 года состоялось торжественное открытие дворца, возглавляемое бароном Османом.