Da sønnen ble voksne brøt det ut strid, som endte med at Håkon måtte forlate øyene. Han kom først til Olav Kyrre i Norge, og dro så videre til Sverige. Ifølge legenden ble han der spådd av en sannsiger, som lovte at han skulle bli enejarl på øyene og stamfar til en stor slekt.