Fra det brennende skipet kom ilden så nær på husene i byen at Tønsbergmennene oppga sin motstand. De hadde blitt bombardert med pilskudd uten å kunne svare tilbake, og hadde store tap som resultat. Tønsbergmennene trakk seg vekk fra bryggene og inn i byen. De sendte ut presten Roald Langtale til Erlings mennene som hadde kommet til bryggene uten å støte på motstand takket være røykteppet. Han bad om grid for seg og byen og Erling Skakke gikk med på det.