Julenatt 1295 var det brann i «erkebiskopens haller», i ett av de hvelvede rommene i Vesthuset. Etter 1300 var det lite byggevirksomhet på anlegget før ut på 1400-tallet, da erkebiskop Gaute Ivarsson (1475–1510) forsterket ringmuren, slik at anlegget fikk mer karakter av en borg. Gaute lot dessuten reise Lavetthuset og Vekthuset (ca. 1495–1503). Første etasje i Vekthuset ble brukt som hall. Bygningen i nordøstre hjørne – «Bakeriet» – ble også reist, ca. 1500–1510. Her kan det ha vært et bispekapell i en øvre etasje.