Dette var perioden hvor det var viktige sølvfunn i Sandsvær og begynnelsen på sølveventyret på Kongsberg. Kong Christian IV skip ankret opp på Bragernes den 26. april 1624 og kongen og hans store følge dro videre til Sem og bodde der et par uker. Kongen var i Sandsvær for å inspisere de nyoppdagede sølvforekomstene, han grunnla bergstaden Kongsberg (Konningsberg) og anla Kongsberg Sølvverk ved en kongelig resolusjon. Han ga også ordre om å bygge en kjørevei, kongeveien, fra Kongsberg til Hokksund for å lette transporten til og fra Kongsberg. Denne kongeveien var landets første offentlige kjørevei. På Bragernes fikk lensherren ansvaret for å bygge et provianthus til det nye bergverket. Det er ganske sikkert at det var på denne tiden Sem setegård fikk navnet «Kongens Hus» på folkemunne. Kongen kom tilbake til Sem i september 1624 sammen med sin nye "kone", Kirsten Munk (1598-1658) som ikke var dronning men som han i 1627 utnevnte til "grevinde af Holsten". Med seg hadde han også en av sønnene fra første ekteskap. Mens konen og sønnen var på Sem dro Christian IV først til sølvverket på Kongsberg for å inspisere driften, deretter dro han til Akershus for å bestemme hvor den nye byen Christiania skulle ligge. Kongen med famille og stort følge dro fra Sem til Strømsø 7. oktober, hvor de var gjester hos Gunde Lange på Øvre Strøm, før de seilte hjem til København. Nå som Kongsberg sølvverk var opprettet ble administrasjonen av bergverksnæringen flyttet fra Eker.miniatyr|Ove Gjedde|231x231pkFra 1626 og helt frem til 1640 var det Ove Gedde (1594-1660 ) som var lensherre på Eker, han var også lensherre for Brunla og Numedalens Lehn fra 1622 til 1637. Ove Gedde var opprinnelig fra Skåne, som den gang tilhørte Danmark, og var gift med Dorte Knudsdatter Urne (1600-1667). Gedde fortsatte moderniseringen av Sem som Huitfeldt hadde begynt. Det ble oppført en ny hovedbygning, ikke en tømmerbygning som var vanlig på den tiden, men et renessanseslott i mur og bindingsverk. 94000 murstein var kommet fra Harlingen i Nederland og blitt rodd opp Dramselva (Drammenselva) til Haugsund (Hokksund) og fraktet videre til Sem med hest og kjerre. Håndverkere som murere, snekkerer, tømrere og smeder kom fra Bragernes, Christiania og Skien. Når bygningen stod ferdig i 1635 lignet den en dansk herregård. I første etasje var leiligheten til lensherren, her var det hollandske lerretstapeter og panel på veggene. Fra stuen var det direkte adgang til øl- og vinkjelleren, i kjelleren var det også proviantlager. I første etasje var også kjøkkenavdeling, skolestue og barnas privatlærer sitt kammer. Kongen og dronningens sengekamre lå i andre etasje sammen med flere gjestekamre for andre prominente gjester. Her lå også den store festsalen. Det var en vindeltrapp i tårnet som gikk fra første til andre etasje og videre opp til loftet og klokketårnet. På loftet ble korn og annen proviant som måtte lagres tørt lagret. På gården var det også en rekke andre bygninger som borgstuen der embetspliktene ble utført og der en kunne ta imot allmuen. Det var også et gjestehus for besøkende som ikke var så prominente at de fikk overnatte i hovedbygningen og et laboratorium for undersøkelse av malm fra gruvene. I borggården, som var belagt med brostein, var en vannpost som fikk tilførsel av vann gjennom en lang ledning av uthulede tømmerstokker. Det store hageanlegget var plassert bak hovedbygningen. Kong Christian IV var tilbake på Sem i 1635. På kongens siste reise til Norge, i 1646, var han også på Kongsberg så det er sannsynlig at han også da bodde på Sem.