Gården besto av en toetasjes rektangulær hovedbygning med énetasjes sidebygninger mot øst og vest. Med sitt høye valmtak ruvet den over bebyggelsen mot vest, men hadde på motsatt side av gata en annen større bygning, Grambowgården, mens det store Ridderhuset lå tvers over Apotekerveita. Eiendommen ble kjøpt av biskop Johan Ernst Gunnerus i 1767 og benyttet både som privatbolig og som samlingssted for medlemmene av Det Kongelige Norske Videnskabers Selskab. Biskop Gunnerus var opptatt av en rekke vitenskaper og hadde en større samling av naturhistorisk og etnografisk materiale i tillegg til et stort bibliotek. Disse samlingene ble oppbevart i gårdens østre del, i sidefløyen mot tveita.