Bygningen ble oppført i 1757 som bolig for trelasthandler Morten Leuch. Etter hans død ble den overtatt av enken Mathia Collett, som giftet seg her for annen gang i 1773 med den ni år yngre Bernt Anker. I 1781 ble bygningen solgt til staten som lokale for overhoffretten, fra 1797 stiftsoverretten. Navnet «stiftsgården» fikk den på grunn av at stiftsoverretten holdt til her. 1814-1896 var bygningen dels kontor, og dels bolig, for den svensk-norske kongens stattholder, fra 1873 bolig og kontor for Norges statsminister. Statsrådsmøtene for saker som kunne besluttes endelig uten Kongens nærvær, ble holdt i Stiftsgården. Både Statssekretariatet i Christiania (Regjeringens felleskontor opprettet 2. mars 1814) og embetet som Sekretær for Den norske regjerings formann (opprettet 2. juli 1829) hadde kontor i bygningen.