Flere steder sør på Nøtterøy, samt på øyene Bolærne, Hvaløy, Skjellerøy, Hui, Ormøy og Søndre Årøy, er det store gravrøyser som er datert til bronsealderen. De første bosetningene på øya lå nede ved sjøen, på steder som på grunn av landhevinga ikke er ved sjøen i dag. Steder som Gipøy (Gipø) og Kjóløy (Kjøle) var på den tida øyer. Blant de første gårdene på Nøtterøy var Niotarvin (Nøtterø), Sandvin (Sande), Skerfheimr (Skjerve), Sæheimr (Sem) og Midheimr (Meum). Alle disse lå i området rundt det som i dag er Borgheim, Færder kommunes administrasjonssentrum.