Håkon startet sin karriere med å hevne drapet på sin far ved å ta livet av sin onkel Grjotgard. Ved hjelp av intriger, maktspill og allianse med danskekongen fikk han satt sine norske rivaler til kongemakten i Norge ut av spill. På tross av at han formelt var underlagt dansk overhøyhet ved danskekongene Harald Blåtann (Harald Gormsson) og senere sønnen Svein Tjugeskjegg, opptrådte han som en selvstendig hersker i Norge. Sagaene og samtidige skaldedikt gir fyldige beskrivelser av jarlen, og han framstår ifølge sagaverket fra 1190-årene nærmest som den ultimate vikinghøvdingen: «Håkon jarl var den vakraste mann å sjå, ikkje høg, men vørdeleg, og han var uvanleg klok.» Han framsto som en uslåelig militærstrateg som både slo den tysk-romerske keiser Otto II ved Danevirke i 970-årene og jomsvikingene i slaget ved Hjørungavåg i 980-årene.