Ved reformasjonen ble klosteret avviklet, og steinbygningene i det gamle Oslo ble i stor grad nyttet som steinbrudd ved utbedringer av Akershus slott og festning. Bispeborgen forfalt, men deler av Olavsklosteret har tydeligvis vært bedre bygd enn vanlig, og sto nærmest intakt. På midten av 1500-tallet flyttet derfor biskopen over til østfløyen av Olavsklosteret. Her ble han boende helt opp til vår egen tid, og bispegården ble etter hvert om- og påbygd. Men tre av rommene i første etasje er bevart, og er de eneste stående bygningselementer som er igjen fra det gamle Oslo.