Den eldste delen av anlegget var fløyen i to etasjer på hjørnet av Tollbugata, oppført før midten av 1600-tallet. Den hadde et bratt tak avsluttet med gavl mot Kirkegata. Taket ble omgjort til valmtak på 1700-tallet, antagelig i forbindelse med en reparasjon etter krigsskader som oppsto under Karl XIIs beleiring av Akershus festning i 1716. På langsiden som vendte mot Tollbugata, hadde huset et karnapp. Hovedbygningen fikk sin endelige form omkring 1760, da fløyen mot Kirkegata ble forlenget og påbygget til to etasjer. Samtidig fikk fasaden midtstilt inngangsparti og frontispis (midtgavl) i barokk stil.