Julaften i 1205 dro Inga med lille Håkon til Hamar, men av frykt for baglerne som lette etter barnet, reiste hun straks videre til Lillehammer og gjemte seg der i julen. I januar 1206 dro en flokk birkebeinere på ski over fjellet fra Lillehammer til Østerdalen, forfulgt av baglerne. De hadde med seg den halvannet år gamle Håkon. Moren Inga var også med i følget. Birkebeinerflokken var på vei nordover Opplandene for å bringe sønnen til kongsgården i Nidaros, hvor birkebeinerne sto sterkt og gutten ville være trygg.