Larvik og Omegns Museumsforening ble stiftet i 1916. Foreningen sørget for at Herrregården ble restauret til museum og arrangerte en rekke tilstelninger i mange tiår. I dag er Herregården en del av Larvik Museum.