Anlegget var bygd som erkebiskopens residens og palladium, og kan ha vært påbegynt av erkebiskop Øystein Erlendsson fra 1161. Anlegget ble bygd ut i flere etapper gjennom middelalderen.