Bygningen som ikke var brukt som fast bopel hadde tre etasjer, kavalerkammer og var utfordrene å holde varm om vinteren. I 1821 eide Colletfamilien; Hovedgården, 13 omliggende gårder, en del av Rakkestad gård og Orderud skog.