Borgen befant seg i Gamlebyen på nordsiden av Oslo torg/Bispegata. Den bestod av steinhus, omringet av høye murer og et tårn. Fra tårnet (kastellet) gikk en takoverbygget bro (drombegang) over til Halvardskatedralen. Sammen med Hallvardskatedralen var bispeborgen det daværende Oslos viktigste geistlige anlegg. Borgen var i tillegg et politisk tyngdepunkt: Den første unionsavtalen mellom Norge og Sverige ble undertegnet i bispeborgen, rett etter Håkon Vs død i 1319.