Derettet fulgte noen fredelige år. Magnus var kjent som en streng men rettferdig hersker, som vernet allmuen. Han skaffet seg uvenner blant en del storbønder som fortsatt drev med vikingtokter; de søkte seg til Håkon, som foretrakk de tradisjonelle verdier fremfor Magnus' kristne syn. Magnus ser ut til å ha veket unna for Håkon i noen år. forteller at han reiste til England, og han var et års tid hos Henrik I, som var gift med den skotske kongens søster Matilda. Med støtte fra venner på fastlandet dro han tilbake til øyene for å ta sitt jarledømme tilbake, etter at Håkon hadde lagt hele øygruppen under seg igjen. En kortere saga, , forteller ikke om dette Englandsoppholdet.