På en amatørtegning fra 1800-tallet er det bare en mindre en etasjes bygning på eiendommen. Antakelig var det Didrik Cappelen (død 1914) som fikk bygget det to etasjes hovedhuset med fløyer som fortsatt står på eiendommen. Han hadde tidligere bodd på Gjemsø kloster hos sin mor Benedicte Cappelen (1804–1881). Didrik ble den 5. februar 1861 gift med Benedicte («Benny») Marie født Wessel (1837–1904), og deres seks barn er alle født på Lilleklosteret. Det eldste barnet var Marie («Maja») som var født den 23. desember 1861 på Lilleklosteret, og ble gift den 3. oktober 1882 med Carl Thorvald Schiøtt, Skien.