Oslo (Gamlebyen) har vært bispesete fra ca. 1070. Den eldste bispegården lå langs nordsida av Oslo torg, og like vest for Hallvardskatedralen. Fra omkring 1300 ble den utvidet med blant annet tårn og festningsmur, derav navnet Oslo bispeborg. (Oslo ladegård ble reist på ruinene av den gamle bispeborgen i 1725.) Fra 1554 har biskopen for Oslo bispedømme holdt hus i tilknytning til østfløyen av høymiddelalderens dominikanerkloster: Olavsklosteret. I 1623 ble Olavsklosterets østfløy ombygd til en mer moderne bispegård. Grunnet forfall ble bispegården lagt ut for salg i 1874. Da ingen kjøper meldte seg ble den revet i 1882 etter Stortingsvedtak. Middelalderdelen ble imidlertid bevart, og i 1883–84 ble den over avbildede bispegården oppført med østfløyen av klosteret som kjeller. I perioden 1999-2000 ble bispegården pusset opp innvendig, og veggene er nå malt i de opprinnelige fargene. I tillegg til å huse administrasjonen tilknyttet Oslo bispedømme, var bispegården biskopens pivatbolig til midt på 1980-tallet. Fra 1986 har Oslo bispegård i helhet vært lokalitet for den kirkelige administrasjon for Oslos biskop og bispedømmeråd.