Etter en høyesterettsdom i 1681 ble deler av Knud Frandsens store eiendomsmasse tvangssolgt av hans kreditor Jacob Dirrichsen. I 1682 solgte Dirrichsen Kjørbo og et tyvetalls gårder til Anna Jacobsdatter Felber, enke etter og eier av Bærums Jernverk. Kjørbo med Nesøya og underliggende ødegårder og øyer overdro hun samme år til sin sønn Jacob Krefting. Gården på Nesøya ble utover på 1700-tallet et underbruk under Kjørbo under eiere fra slektene Krefting og Leuch. Eier fra 1771 var kammerråd Gustavus Strømboe, som i 1782 skilte ut selve Nesøya og solgte den til eierne av Vøyen gård i Bærum, brødrene Søren og Thorer Christensen. De bodde på Vøyen og drev Nesøya som et underbruk, og øya var i familiens eie til 1894.