På 1200-tallet ble det oppført et nytt anlegg med forsvarsmurer og bygninger i stein og tegl. Der var også en kongshall av samme type som Håkonshallen i Bergen, men atskillig mindre enn denne. Anlegget kan ha blitt oppført under Håkon IV etter bybrannen i 1223. En annen hypotese er at det er oppført etter brannen i 1254, og at det er den senere Håkon V som var byggherre.