Filippus døde i 1217, men baglerne fortsatte, nå uten konge. I 1218 angrep en ny opprørsgruppe, slittungene, baglerne i Tønsberg. Arnbjørn var en av baglerne som klarte å slå slittungene, sammen med Filippus' bror Andres Simonsson. Arnbjørn ble såret i kampen, men overlevde. Ifølge sagaen falt 140 mann.