Museet er fylkets eldste kulturhistoriske folkemuseum, og er arvtageren etter det gamle Tønsberg museum fra 1894 og Tønsberg sjøfartmuseum. Samlingene fra disse museene kom til å danne basis for det nye fylkesomfattende museet fra 1939.