Adelsmannen, ridder, fogd og riksråd Benedikt Nikolausson ble på slutten av 1300-tallet lensherre på Sem setegård som var i kronens eie og ble hovedsete i lenet. Det var flere kongebesøk på Sem, Kong Christian IV bodde her i et par uker i 1624 i forbindelse med hans inspeksjon av de nyoppdagede sølvforekomstene på Sandsvær. Han grunnla bergstaden Kongsberg, anla Kongsberg Sølvverk ved en kongelig resolusjon og ga ordre om å bygge en kjørevei, kongeveien, fra Kongsberg til Hokksund for å lette transporten fra sølvverket. Fra 1626 til 1640 var det Ove Gedde som var lensherre på Eker. Gedde oppført en ny hovedbygning, ikke i tre som var vanlig men et renessanseslott i mur og bindingsverk. 94000 murstein var hentet fra Harlingen i Nederland og blitt rodd opp «Dramselva». Hannibal Sehested (gift med Christiane, Christian IV's datter) overtok Sem med sine rundt 50 underliggende gårder. Sehesteds fortsatte med oppkjøp av undergårder og sagbruk og i 1648 hadde Sem 183 undergårder i Eiker, Lier og Skoger. Sehesteds enorme samling av gods ble spredt og det var Willum Mechlenburg som forpaktet Sem med de gjenværende undergårdene fra 1652 til 1663. Han bosatte seg på Bragernes i 1657 hvor han hadde fått oppført en av Drammens største og mest påkostede bygninger. Dette markerte på mange måter flytting av det administrative sentrum i drammens distriktet fra Sem på Eker til Drammen by. Det er i dag ingen synlige rester av bygningene på Sem.