Etter Olav Kyrres død kom Håkon til Magnus III Barfot, og egget ham til å dra over havet for å hevne sin farfar Harald Hardrådes død i England i 1066. Samtidig skulle det ordnes slik at Håkons far fikk makten alene på øyene. Kongen kom til Orknøyene i 1098, og tok begge jarler til fange og sendte dem til Norge. Kongens åtte år gamle sønn Sigurd ble nominelt jarl over øyene, og noen nordmenn ble utnevnt til hans rådgivere. De tre jarlesønnene måtte slå følge med kongen, og fikk rang av skutilsveiner.