Slottet opplevde et betydelig forfall etter 1575, og både bygdefolket og byggherrer utenbygds benyttet det som et steinbrudd fra 1661. Historien om erkebiskopens byggverk ble etter hvert glemt, og de fleste forbireisende geografer og historikere fant ruinen uinteressant. I 1849 ble det imidlertid foretatt mindre arkeologiske utgravninger etter initiativ fra Fortidsminneforeningen, som i 1893 kjøpte slottsruinen og påbegynte en omfattende utgravning og rekonstruering. Det opprinnelige byggverket raget om lag tre ganger høyere enn murene slik de fremstår i dag.