Under dekke av røykteppet gikk så Erling Skakkes hær på land. Der oppdaget de at kongens anfører Åsmund Simonssen hadde trukket seg fra bryggene og den nå stengte byen ute på landet. Etter at Tønsbergmennene hadde gått inn i byen ble det tynt med menn på bryggene, Åsmund hadde dermed ikke annet valg enn å trekke seg tilbake mot Erling Skakke som hadde flest menn med seg. Åsmund nektet å risikere sitt liv og sine menn siden Sigurd fra Rør, som var deres egentlige hærfører ikke var med dem, og valgte dermed å oppgi all motstand under angrepet.