Restaureringsarbeidene ble omfattende og varte fra århundreskiftet og helt fram til 1960. Med bakgrunn i historiske undersøkelser av professor Gustav Storm fremla arkitekt Peter Blix i 1896 det første utkastet. Dette utløste en bevilgning fra Stortinget i 1897. Debatten gikk høyt, både om prinsipper for restaureringen (hvilke tidsepoker man skulle ta vare på og hvordan), og om hvor mye areal det restaurerte anlegget skulle legge beslag på. Blant dem som fikk gjennomslag i den faglige diskusjonen var ikke overraskende kunsthistorikeren og den senere riksantikvar Harry Fett, som mente at alle tidsaldres bidrag fortjente å bli vurdert med tanke på vern, ikke bare de eldste delene fra middelalderen.