Museet ble opprinnelig etablert som 19. mars 1981. Året etter fikk museet sine første lokaler i det da nybygde Hitra videregående skole, og åpnet snart sin første utstilling «Sei på kvar ein grunn, skrei på kvart eit med». I museumsplanene for Sør-Trøndelag 1985-1989 ble Hitra bygdesamling utnevnt til regionmuseum for Sørfosen museumsregion, og i 1991 ble en ny museumsordning innført i Sør-Trøndelag der ble utnevnt til fylkesmuseum med spesielt ansvar for kystkultur. Den 19. oktober 1994 ble etablert som privat stiftelse med navnet .