Klubselskabet Harmonien ble leietager av deler av bygningen i 1821, og kallenavnet Harmonien er dokumentert allerede i 1823. Klubbselskapet kjøpte eiendommen i 1825.