Samme år bestemte imidlertid baglerne seg for å legge ned flokken, og flere av høvdingene gikk over til birkebeinerne. Arnbjørn var blant dem som nå ble birkebeinerkongen Håkon Håkonssons menn. Arnbjørn stod sammen med kong Håkons svigerfar, jarl Skule Bårdsson, i kampene mot opprørsflokken ribbungene i Viken og på Opplandene. Arnbjørn ble sysselmann i Borgarsysla, og hadde sitt sete på Valdisholm borg ved Glomma ved Eidsberg i Østfold.