I 1680-årene var bygningen bolig for stattholder Just Høeg, og utover på 1700-tallet ble det av flere eiere foretatt en rekke ombygginger, særlig innvendig. Hjørnehuset hadde opprinnelig flere karnapper i gatefasadene, en høy gavl mot Rådhusgata, en midtgavl med heisinnretning mot Dronningens gate, og et trappetårn mot gården. Men disse bygningsdelene forsvant ved en ombygging i 1760.