Gården ble bygd som befestet bolig, omgitt av en ringmur, for erkebiskop Øystein Erlendsson fra 1160-åra. Anlegget ble bygd ut i flere etapper gjennom middelalderen.