Sigurd Jarl hadde dratt til Båhuslen, så Håkon Herdebrei var tilbake i Tønsberg med en mindre hær. Etter Erling Skakke hadde fått informasjon om dette, seilte han med sin flåte på kanskje ti skip og minst 1 000 mann til nordodden av Nøtterøy ved Byfjorden i Tønsberg.