Museet ligger på østsiden av Berlevågs indre havn i Statens Havnevesens gamle lokaler. Disse lokalene ble bygd opp igjen etter nedbrenningen høsten 1944 av Berlevåg under tyskernes tilbaketrekning, og dokumenterer blant annet 100 års arbeid med havneforholdene på stedet. Museets hovedbygg var den gamle lagerbygningen til havnevesenet.