Bygningsmiljøet på Tollerodden ble tildelt Larvik kommunes bevaringspris 2007. Larvik kirke (anlagt 1677) og Larvik Hospital (anlagt 1757–1760) er blant bygningene på Tollerodden.