Håkon mente at kong Harald burde gjøre ham til jarl, slik at han kunne bli verdig en kongsdatter, men Harald sa nei, fordi det allerede var en jarl i landet, Orm Eilivsson. Håkon reiste deretter til Danmark. Da han kom tilbake til Norge igjen, var imidlertid jarlen Orm død, og Harald gjorde Håkon til jarl, og Ragnhild ble nå gift med Håkon. Det er usikkert hvor de bodde. Ifølge Snorre var Håkon fra Opplandene, mens forfatteren av Morkinskinna oppgir at han var fra Viken.