I 2004 åpnet museet i Storgata 95, et fredet patrisierhus fra 1838 som fra 1911 og 90 år framover fungerte som Folkets Hus. I 2005 ble PEM eier av trebygningen som ligger nord i Gågata.