I Rosendal bygde de Skandinavias minste slott. Ludvig ville heller ha bygget en borg, men det var forbudt i Norge. Han stakk snart av til København, der han håpet på et høyt embete; hans plan var å selge sin kones eiendommer i Norge og kjøpe et gods i Danmark i stedet. Men kongen kom ikke med tilbud om noe embete, tvert om var han mer opptatt av å ha lojale embetsmenn i Norge. I to år ventet Ludvig forgjeves, mens Karen satt tilbake på en byggetomt der kostnadene hauget seg opp med murere fra Skottland og gartnere fra Nederland, og ektefellen langt borte i København der han festet og ødslet bort hennes arv. Snart var paret helt forgjeldet. I brev kaller hun hans oppførsel «» (ren galskap). Han trygler henne om å ta med barna og flytte til ham i København, mens hun vil bli i Norge og står fast på at hans plass også er der. Etter to år ga han etter og kom tilbake til Norge, til en kone utslitt av skattekrav, gjeld og jordleie hun ikke fikk krevd inn. Men nå gikk Ludvig inn for å få godsets økonomi i orden, og bygningen stod ferdig i 1665.