Bygningen ble reist i 1758 etter at kong Ludvig XV gav arkitekten Ange-Jacques Gabriel oppdraget med å bygge to palasser ved det som skulle bli Place de la Concorde. De to identiske bygningene, adskilt av rue Royale, ble opprinnelig ment å være regjeringsbygninger. Den østlige bygningen ble og er fortsatt hovedkvarteret for den franske marine (Hôtel de la Marine). Den nordlige bygningen - som skulle bli Hôtel de Crillon - ble først bebodd av Louis Marie Augustin, hertugen av Aurmont. Bygningen ble utvidet av sin neste eier, arkitekten Louis-François Trouard, som lot bygge Salon de Aigles i 1775.