Adelsmannen, ridder, fogd og riksråd Benedikt Nikolausson ble på slutten av 1300-tallet lensherre på Sem setegård som var i kronens eie og ble hovedsete i lenet. Det var flere kongebesøk på Sem, Kong Christian IV bodde her i et par uker i 1624 i forbindelse med hans inspeksjon av de nyoppdagede sølvforekomstene på Sandsvær. Han grunnla bergstaden Kongsberg, anla Kongsberg Sølvverk ved en kongelig resolusjon og ga ordre om å bygge en kjørevei, kongeveien, fra Kongsberg til Hokksund for å lette transporten fra sølvverket. Fra 1626 til 1640 var det Ove Gedde som var lensherre på Eker. Gedde oppførte en ny hovedbygning, ikke i tre som var vanlig men et renessanseslott i mur og bindingsverk. 94000 murstein var hentet fra Harlingen i Nederland og blitt rodd opp «Dramselva». Hannibal Sehested (gift med Christiane, Christian IVs datter) overtok Sem med sine rundt 50 underliggende gårder. Sehesteds fortsatte med oppkjøp av undergårder og sagbruk og i 1648 hadde Sem 183 undergårder i Eiker, Lier og Skoger. Det er i dag ingen synlige rester av bygningene på Sem.