Etter 1905 ble hovedbygningen utbedret og modernisert, og kong Haakon VII og hans familie, og senere kong Olav V, brukte den som fast sommerbolig. Da bygningen ble oppført i 1733 var denne byggingen svært hastverkspreget og det ble blant annet brukt tømmer som ikke var tilstrekkelig tørket. Bygningen fikk derfor tidlig omfattende råteskader. Senere ombygginger, restaureringer og oppussinger har ikke tatt hensyn til dette. Dette førte til at det ble nødvendig med en omfattende restaurering som ble påbegynt i 2004 og avsluttet høsten 2007. I denne prosessen ble også bærekonstruksjoner skiftet ut.