Aleksander Didrikson Fester fikk kongebrev på handel på handelsstedet Vågsberget i 1692, og med dette rett til å drive gjestehus på Moldøen og i 1704 overnattet Fredrik den 4. her under Norges-reisen sin. I 1744 ble Moldøen med handel og privilegiene der solgt og skilt fra driften på Vågsberget. En rekke familier var eiere av Moldøen gjennom tidene, deriblant Fester, Glad, Friis, Knoph, Schmidt og Lem. Ole Schmidt, som drev Moldøen fra 1838 til 1866, bygget store sjøbuer og en staselig hovedbygning på eiendommen.