Hvor Oslo ladegård i dag ligger, lå bispeborgen i middelalderen, påbegynt under Bisp Nikolas’ tid tidlig på 1200-tallet. Dette var et av byens og omlandets politiske tyngdepunkter, og sammen med St. Hallvardskatedralen utgjorde borgen byens ubestridte geistlige sentrum. Borgen var ganske stor, med høye murer, steinhus og tårn, og omkranset det som i dag er Oslo ladegårds hage. Fra tårnet, eller kastellet, gikk en takoverbygget bro over til St. Hallvardskatedralen. Etter Håkon Vs død i 1319 ble den første unionsavtalen mellom Norge og Sverige undertegnet i bispeborgen.