Paleet ble ikke tatt i bruk i sin helhet så lenge Mølmann-familien eide det. Mesteparten av fløyen mot Munkegaten, sør for porten, var fortsatt uinnredet da Klubselskabet Harmonien ble leieboer. I klubbselskapets arkiver finnes eksempler på at «Harmonien» ble brukt som navn på bygningen, eller stedsangivelse, allerede i 1823.