Harmonien ble oppført i perioden 1769–ca. 1773 som bybolig for den velhavende familien Mølmann: Hans Ulrich (1715–1778); hans kone Gudlov, født Hveding (1722–1799) og deres datter «Stinchen» (1757–1820). Paleet var mer enn en bolig for familien. Det var en bygning ment for representasjon og festligheter, og det var en manifestasjon av familiens velstand. Mølmanns eide flere store eiendommer, som lystgårdene Nedre Rotvoll, Arildsløkken i Strinda og Gjølme i Orkdal. Familien tilbrakte en stor del av året på sine landeiendommer. Harmonien var i hovedsak deres vinterresidens.