Bygningen var på slutten av 1700-tallet eid av «Harald Haarfagers Klub», en herreklubb som også gikk under navnet Den Civile Klub. I 1818 ble klubben slått sammen med Den Militære Klub (også kjent som «Friderichhalds Klub») til Haldens Klub, og klubbselskapet flyttet ut av bygningen, til Borgergata 5. Deretter kom flere private eiere, bl.a. S. Rosenlund, som gav navn til salen i andre etasje. Den venskabelige Forening kjøper huset i 1852, og i år 1900 ble Den konservative Arbeiderforening eier av huset. I 1961 ble det tatt i bruk som møbellager, og planene var at det skulle rives og erstattes av et nytt forretningsbygg. Dette ble det ikke noe av, og i 1987 kjøpte Halden kommune bygningen og satte i stand eksteriøret og første etasje.