De adelige setegårdene ble bortforpaktet av kongen til forskjellige embetsmenn og Hannibal Sehesteds enorme samling av gods ble spredt. Det var Willum Mechlenburg (1615-1677) som forpaktet Sem med undergårder fra 1652 til 1663. Han var sønn av borgermesteren i Haderslev, Danmark, og kom til Norge i 1648 hvor han hadde flere viktige embeter som krigskommissær og zahlkommissær. Han giftet seg i Dunkerque med Isabella de Bryere (1619–1676) fra Antwerpen, Belgia. Han var ikke lensherre men hadde som forpakter av Sem mange av oppgavene som lensherrene hadde hatt, derfor regnes han gjerne som den siste lensherren i Eker len, før lenene ble erstattet av amter. Med gården Sem fulgte også Semsagene som gjorde Mechlenburg interessert i trelasthandelen. Han bosatte seg på Bragernes i 1657 hvor han hadde fått oppført det såkalte «Mechlenburg-gården», en av Drammens største og mest påkostede gårder og en av landets flotteste murgårder med 14 værelser i 1. etasje, og 3 etasjer. På 1650-tallet var han antakelig Drammens mest velstående borger. Dette markerte på mange måter flytting av det administrative sentrum i drammensdistriktet fra Sem på Eker til Drammen by. miniatyr|244x244pk|Gabriel Marcelis Den hollandsk kjøpmann Gabriel Marselis (1609-1673) grunnla en av Europas største bankier-forretninger, han lånte ut enorme summer til Christian IV og fikk jordegods som pant. Han satt til slutt med enorme eiendommer i Danmark og Norge. Christian IV’s og hans sønn Frederik III mange kriger hadde tømt den dansk-norske statskassen og opparbeidet en enorm gjeld. Det internasjonale handelshuset Marselis var den største kreditoren og i 1659 ble Sem overdratt fra staten som pant til Marselis. Kong Frederik III døde i 1670 og i 1672 ble visestatsholder Ove Juul (1615-1686) sendt for å inspisere Sem og de øvrige godsene i drammens distriktet. Ove Geddes praktfulle renessansebygning var etter bare 40 år nærmest en ruin, og i løpet av få år forsvant det helt. Mursteinen skal ha blitt brukt til låver og andre bygninger på andre gårder og gulvflisene ble gjenbrukt i Fiskum kirke.