Hotell Rydberg ble oppført årene 1852-1856 på det gamle tomt etter tegninger av arkitekt Johan Fredrik Åbom, som noen år senere også tegnet Berns salongers bygning ved Berzelii park. Fasadene ble tegnet av arkitekt Albert Törnqvist. I 1870 ble nabohuset lagt sammen med i hotellet. Også Celsingska huset var blitt tegnet av Åbom i 1858 og ble bygd som bostedshus for brukspatron L.G. von Celsing. Hotellet ble utarrendert først til den senere Grand Hôtel-grunnleggeren Jean-François Régis Cadier, og senere i 1892 til hans enke. I 1892 ble hotellet ombygd etter tegninger av arkitekten Johan Fredrik Lilljekvist.