Ridder og riksråd Gaute Toraldsson Kane (ca.1410-1474), han skal ha støttet kong Christian I i kampen mot Karl Knutsson Bonde, var sysselmann på Eker i 1446 og 1448, så det er sannsynlig at også han har holdt til på Sem (eller på nabogården Berg, hans mor var Turid Guttormsdatter Berg fra Eiker). Eker ble igjen underlagt Akershus len på midten av 1400-tallet og da er det ikke så mange kilder om hvem som bodde på gården.