De beste indikasjonene på at Kongsgård var en borg, er de to 2-2,2m tykke muren mot Haakon VII’s gate, den 6,5 meter høye Gårdsmuren (mot Domkirkegården), steinhuset i tre etasjer i Haakon VII’s gate, og ikke minst beretningen fra 1515. Kongsgård har flere av de karakteristiske trekkene til en borg som vanngrav utenfor murene og bruk av haggtorn utenfor murene. Funnet av en brakteat i den ytterste muren i Haakon VII’s gate, viser til at muren er fra helt i begynnelsen av 1300-tallet.