Gården ble bygd som erkebiskopens residens, og kan ha vært påbegynt av erkebiskop Øystein Erlendsson fra 1161. Anlegget ble bygd ut i flere etapper gjennom middelalderen.