Det ble til et slags antiklimaks da slaget startet, for da birkebeinerne gikk til angrep med bueskyttere og armbrøstskyttere, valgte baglerne å trekke seg tilbake på landgangsbruene mellom skipene og opp på bryggene. Arnbjørn Jonsson som var forarget over sammenbruddet, hadde ikke annet valg enn å følge etter.