Selve hotellbygningen går tilbake til 1776, da sagfogd Lars Ridder bygde et stort hus med mansardtak på Bilthuggertangen. kjøpte stedet for å drive landhandleri i 1796. Sønnen fikk i 1838 bevilling for å drive med gjestgiveri der, men det var først etter hans død i 1848 at hotellet ble berømt. Da var det enken, Maren Asledatter født Semmen (1809–1885), som drev stedet. Lokalt gikk hun under tilnavnet «Madame Glatved».