I 1967 ble klubbselskapet på ny husløse, da Lille Stiftsgården ble sterkt skadet i brann. Harmonien fikk nok en gang leie lokaler i Handelsstandens hus. Lille Stiftsgården var fredet, så de antikvariske myndigheter ønsket å gjenreise den, men i 1968 bestemte kommunen at tomten skulle brukes til forretningsformål, så bygningen ble revet, til tross for fredningen.