Borgen ble skadet i 1523 ved svenskenes angrep. Etter reformasjonen i 1537 ble store deler av borgen revet, og i 1554 flyttet biskopen over til østfløyen i det nedlagte Olavsklosteret, som senere ble Oslo bispegård. I 1579 lot borgermester Christen Mule oppføre en renessansebygning på stedet. Her ble kong James (Jakob) VI av Skottland og prinsesse Anna av Danmark viet 23. november i 1589. Etter en brann i 1722 ble den nåværende Oslo ladegård bygget over kjellermuren av Mules gård i 1725.