Huset kan by på mange spennende skjebner og historier. Bygningen var tollernes bolig og samtidig byens tollbod, en enestående kontinuitet og eierrekke og funksjon. Den gamle tollbodens historie er kjent tilbake til 1680-årene. Larviks første borgermester Fredrik Petersen, som var grev Gyldenløves håndgagne mann, kan knyttes til eiendommen tidlig i tiåret. Bygningen er sannsynligvis eldre, og man vet ikke når Fredrik Petersen først opptrer som eier. Det har blitt diskutert hvorvidt huset som nå har adressen Kirkestredet 9 var Larviks første tollbod eller Herregårdens borgerlige forløper. Mye tyder på at bygningen er en bygningshistorisk forløper for Herregården.