Eiendommen ble på tvangsauksjon etter Lagaard, i 1866, kjøpt for 1.120 spesiedaler av Gjemsø klosters daværende eier, firmaet Hans Cappelens Enke. Huset var bolig for firmaets kontorsjef, sist , som bodde sammen med sine to søstre og oberstløytnant Ekstorm. Etter at hovedbygningen på Gjemsø kloster brant i 1885, flyttet Didrik Cappelen (1836–1914) med ektefelle Benedicte, født Wessel, og deres mindreårige barn, inn i huset.