I juni 1821 fikk klubbselskapet tilbud om å leie deler av grev Schmettows store trepalé ved Torvet. Schmettow var svigersønn av Gudlov og Hans Ulrich Mølmann som hadde fått bygget trepaleet i 1760– ca.1773. Det var grev Schmettows arvinger, svigersønnene hoffråd Hans Collin og stiftamtmann grev Frederik Trampe som eide gården da klubbselskapet fikk tilbud om leie i 1821. Avtalen kom raskt i stand, og i 1825 kjøpte klubbselskapet hele eiendommen. Bygningen fikk ganske raskt tilnavnet «Harmonien» etter klubbselskapet. Klubbselskapet brukte også dette navnet på bygningen. Allerede i 1823 finnes brev fra klubbselskapets direksjon, der er brukt som stedsangivelse. miniatyr|Lille Stiftsgården fotografert før 1910 27. januar 1942 ble trepaleet totalskadet i brann, og klubben måtte igjen finne nye lokaler, før en eventuell gjenoppbygging ved Torvet. De fikk en tid tilhold i Huitfeldtgården i Kjøpmannsgaten. Våren 1945, etter frigjøringen i mai, fikk klubben bruke felles klubblokaler i Handelsstandens hus. Dette fungerte ikke tilfredsstillende for noen av foreningene, og i oktober 1943 ble avtalen sagt opp med tre måneders oppsigelse. Harmonien måtte på ny finne nye lokaler. Etter en tid med leieforhold både i Hotel Phoenix og selskapslokalene i Frimurerlosjen, kunne de i november 1949 innvie sine nye selveide lokaler i Prinsens gate 49, i bygården som ble kalt «Lille Stiftsgården» på grunn av visse likheter med Stiftsgården i fasadeutforming og detaljering. Bygården ble solgt til Harmonien av konsul Ivar Lykke, mangeårig medlem av klubbselskapet.