Allerede i jubileumsåret for Norges Grunnlov, 1914, ble det fremsatt et forslag til en slik forening. Flere i Larvik var opptatt av at innbyggerne i byen ikke hadde vært flinke nok til å ivareta byen kulturarv. En av disse var Kristen Simonsen, byens «magistrat» (en stilling som i dag tilsvarer rådmann) og politimester. I mai 1914 kom et opprop fra han om å danne et bymuseum, for å redde det som ennå kunne reddes av den eldre Larvikskulturen. Oppropet fikk liten respons i første omgang.