Museet består av fire bygninger, og bygningene stammer fra 1840-tallet, fra kolonitiden. Bygningene lå opprinnelig i sentrum av byen, men ble på begynnelsen av 1970-tallet flyttet til nordsiden av byen, da fiskefabrikken skulle bygge ut.