De første årene måtte restaureringen konsentrere seg om å rette opp grunnleggende skader i murer, kjellere, gulv og takkonstruksjoner, med andre ord arbeider som ikke var så synlige for befolkningen. Her spilte arkitekt Holger Sinding-Larsen en sentral rolle fra 1905 til 1925. I 1929 overtok Arnstein Arneberg oppdraget som utførende restaureringsarkitekt, i samarbeid med bl.a. arkitekt Gerhard Fischer. Store fornyelser og vedlikeholdsarbeider fortsatte fram til sluttførelsen i 1960, bare avbrutt av krigsårene 1940–1945. Fra 1960 ble det faglige ansvaret overtatt av anleggets konservator, Stephan Tschudi-Madsen.