Guttorm Eiriksson (1280–1349) som overlot eiendommen til sin datter Gudrun. Godset gikk deretter videre til datteren Elin og deretter til hennes sønn riksråd Olav Håkonssøn. Olav Håkonssøn (død 1458) overlot eiendommen til sin datter Gudrun som gav den videre til sin datter Sigrid Erlendsdatter. Eiendommen gikk i arv i familien i 8 generasjoner. Familien tilhørte adelsslekter som Rosenkrantz, Rantzau, Lindenov og Urne. Stattholder Christopher Urne (1593–1663) kjøpte i 1639 Nesøya hovedgård med tilligende jordegods. Han gjorde Lysaker i Bærum til setegård for godset, ikke Kjørbo som tidligere antatt. Sønnen Christian Urne solgte i 1663 eiendommen til Knud Frantzen. Senere tilhørte den slektene Krefting, Leuch og Vogt.