En 1802, Napoléon décide de percer la rue de Rivoli en l’honneur de sa foudroyante campagne de 1796 dans le nord de l'Italie et réserve le rectangle Rivoli-Cambon-Mont Thabor-Castiglione à un nouvel hôtel des Postes. Les temps sont agités et la Restauration, en 1822, y établit finalement le ministère des Finances. Sous Napoléon III, ce quartier aux abords du château des Tuileries devient le véritable cœur du projet politique français et de la vie mondaine. C’est sans doute ce rôle symbolique qui lui vaudra d’être visé par un obus versaillais à la fin du siège de Paris puis incendié par les Communards en débâcle.