En las siguiente décadas, el edificio no solo fue la sede de la Marina francesa, sino también la residencia de su principal responsable, y bajo el Segundo Imperio, los salones oficiales que dan a la "Place de la Concorde" fueron redecorados en un pomposo estilo neobarroco apto para la celebración de bailes y recepciones.