I tida etter jomsvikingslaget beskrives Håkons styre som hardere mot folket. Han «tok til å bli hard mot landsfolket, og pengekjær og passet ikke loven. Men verst var det at han var usedsmann mot kvinner, og hans menn gjorde som han.» Bøndene i Trøndelag samlet seg i motstanden mot jarlen og en gang, i 995, da jarlen var i gjestebud på Melhus og krevde å få ha den vakre kona til storbonden Orm Lyrgja hos seg, gikk det for langt. Orm sendte ut hærpil til alle kanter og bøndene samlet seg og gikk mot jarlen. Han måtte flykte og gjemte seg til slutt under grisefjøset på garden til sin elskerinne Tora fra Rimol sammen skosveinen eller trellen sin Tormod Kark. Her ble han drept av trellen sin.