Museet ble opprettet i 1978, i forretningsmannen Frederik Lynges hus, bygd i 1932. I 2002 ble museet flyttet til dagens beliggenhet, den gamle kolonibestyrerboligen fra 1860. Den første bygningen museet var i er i dag et lager for museet.