I 1803 døde Adam Bernhoft og handelsstedet ble kjøpt av Christian Lorentzen Sverdrup. Med ham starter en oppgangstid for stedet som etter hvert innebar krambodshandel, gjestgiveri, gårdsdrift, jektefart, fiskeoppkjøp, dampskipsekspedisjon, telefon og poståpneri. Han bygde flere av husene som kan ses i dag. Da Sverdrup døde overtok hans svigersønn Jens Nicolai Ellingsen, som var gift med Sverdrups eldste datter Anna Elisabeth Sverdrup. Ellingsen oppførte også noen bygninger på handelsstedet. Han døde barnløs i 1855 og Anna Elisabeth overtok driften alene frem til 1859. Da giftet hun seg med den talentfulle krambodsbetjenten på handelsstedet: Erasmus Benedikt Kjerschow Zahl.