Sehesteds fortsatte sine oppkjøp i 1647 og 48, Fossesholm med 30 undergårder og sagbruk, Skjelbred med 17 undergårder, Fiskum med 12 undergårder, Ulleland med 8 undergårder og den delen av Nesøygodset som lå i drammensdistriktet. Hannibal Sehested ble dermed eier av store deler av Eiker, Lier og Skoger. I tillegg hadde han stor inntekt av retten til innkreving av kirketiende i Eiker og Lier, samt at han disponerte prestegården i Skoger. Det enorme godset på 319 gårder var organisert i to deler med Sem som en hovedgård med 183 undergårder og Strøm som hovedgård med 136 undergårder. 130 av gårdene under Sem lå i Haug sogn, 37 i Fiskum, 8 i Hof og 8 i Modum. Verdien av godset ble anslått til å være 786 tønner hartkorn, mens Strømsgodset ble ansatt til 754 tønner. I tillegg hadde Sehested inntekter fra leding og fôring fra ytterligere 103 gårder på Eiker. Hans Nilssøn var forvalter av Semsgodset for Hannibal Sehested holdt selv til på Akershus. Den økende makten til Sehested førte til at han fikk fiender flere steder, også blant danske adelsmenn. Han ble beskylt for økonomisk misligheter og kong Frederik III ba om at saken ble nøyere undersøkt i 1651. Dette førte til at han senere samme år måtte avstå alle eiendommene til kongen og fratre sitt embete. Så da var Sem tilbake i kongens eie.