Den tysk-norske oberstløytnanten Phillip Nicoll eide en tid møllen på Gravdal, og rundt 1745 fikk han oppført lystgården her. Praktbygningen var på én etasje og hadde valmtak med sortglasserte teglpanner. Da Phillip Nicoll døde overtok sønnen Phillip Christian Nicoll lystgården. Senere ble lystgården eid av Dankert Dankertsen (1778–96), hans sønn Henrik Heiberg (1796–1802) og Mathias Gjerding (1802–09).