Lyststedet ble oppført av kjøpmann Lorentz Holtermann (1768–1837) mellom 1797-1799. En tegning av Johan F. L. Dreier viser at dette var en enetasjes bygningen med valmtak og en midtark som har saltak med sterk svai. Tapetet i salen er dekorert med malte ranker og medaljonger av Johan Georg Müller (1771–1822). Opprinnelig var det en hage foran huset med geometrisk formete bed på begge sider av en vei som førte frem til hovedinngangen. Lyststedet Frydenlund ble modell for mange mindre hus i grendene i Sandviken.