Flere stedsnavn fra Nøtterøy er nevnt i sagaene, fremfor alt Rossanes og Ramberg. Erling Skakke lå gjemt her før han skulle angripe Håkon Herdebrei inne i Tønsberg med flåten sin. Høsten 1188 kalles «Ramberghøsten». Denne høsten ble Ramberg og Rosanes flere ganger brukt som tilholdssted for flåtene som skulle angripe byen. Vrengen nevnes også i sagaene, som den naturlige passasjen mellom øst og vest for flåtene. I 1224 skulle Håkon Håkonsson gifte seg i Bergen med hertug Skules datter. Han måtte overvintre i Tønsberg på grunn av den tjukke havisen. 3. april 1225 dro de båtene over isen utenfor Skjeljastein og ut i Hundsund, mellom Nøtterøy og Føynland, og kom seg til slutt til Bergen. Til tross for den store trafikken i havet rundt Nøtterøy på denne tida, var øya et forholdsvis fredelig sted å bo, og det berettes ikke om noen dramatiske hendelser på øya. I Håkon Håkonssons saga blir Årøysund nevnt. Det heter at skip la til i sundet i 1221 på grunn av uvær. Fem år seinere måtte kongen gjøre det samme.