Larvik og Omegns Museumsforening ble stiftet i 1916 med formål å bevare og restaurere Herregården i («Den grevelige Residens») byen samt bygge opp byhistoriske samlinger. Herregården og Kirkestredet 5 (Sjøfartsmuseet) ble vedtaksfredet i 1923. Foreningen Larvik Sjøfartsmuseum ble stiftet i 1926, og drev Sjøfartsmuseet i Kirkestredet 5 fra 1962.