Den samme sommeren forsøkte baglerne å innta Bergen, men birkebeinerne greide å forsvare borgen. Våren etter, 1205, kom birkebeinerne til Tønsberg. Baglerne besluttet at det var klokest å flykte, så de reiste til Danmark. Dermed ble Inge Bårdsson tatt til konge også på Haugatinget. Baglerne kom imidlertid raskt tilbake og fortsatte kampene. Birkebeinerne hadde mange speidere ute. Året etter, 1206, satt Håkon Galen i Bergen og skrev brev til Inge, som satt i Trondheim, om at baglerne var på vei. Inge kalte straks sammen hæren, og de ble enige om å holde vakt. Inges menn, med Sigvald Karl i spissen, tok ikke oppgaven alvorlig, og satt og drakk hele kvelden. Samme natt inntok baglerne Trondheim, og kong Inge, som lå og sov, måtte rømme i bare undertøyet. 90 birkebeinere skal ha blitt drept. Håkon Galen holdt et nytt slag mot baglerne i Bergen, og også her gikk det dårlig for birkebeinerne, som mistet 200 mann. Sommeren 1207 døde baglerkongen Erling, og baglerne valgte Filippus Simonsson, biskop Nikolas' nevø, til ny konge. Samme sommer satt birkebeinerne med Dagfinn Bonde i Bergen. Dagfinn skulle holde vakt over borgen, og krevde 200 mann. Det ble ikke sett på som nødvendig, og han fikk bare 100. Det skulle vise seg å være en tabbe, for baglerne kom til byen og inntok borgen og stjal en menge verdisaker. Til slutt satte de fyr på borgen.