Bebyggelsen var varierende i tiden mellom reformasjonen og unionskongens salg av godskomplekset i 1662. Bygningene på stedet brant i 1546 og da sto det igjen bare en stor låve med fjøs. Ved midten av 1600-tallet hadde lensherren Sivert Urne foreslått for kongen å bygge ny lensherreresidens på Klosterøya, men han fikk avslag. I stedet bygde Urne selv «it Smucht lidett Stuehus» der, foruten et stort ridehus i bindingsverk (opplysninger bl.a. i , side 297).