I forbindelse med saltverket ble Valløy kirke bygd 1782. Under napoleonskrigene ble Valløy i 1808 utstyrt med kanonbatteri og kystvern for å forsvare innseilingen til Tønsberg by og saltverket. På 1820-årene ble Valløy anløpssted for Norges første dampskip, DS «Constitutionen».