Bygningen er i tidens løp blitt endret ved ombygging, bl.a. ble det gamle rådhustårnet fjernet i 1700-årene. Samtidig ble taket over hovedfløyen omgjort til et valmtak, slik at bygningen mistet sine opprinnelige renessansegavler. De kom tilbake ved en restaurering tidlig på 1900-tallet. Huset ble skadet ved brann i 1996, men er blitt reparert av eieren, Oslo kommune.