Pål og Erlend døde i Norge, og Magnus' søster Gunhild ble giftet bort til høvdingsønnen Koll på Jæren. Magnus kunne ikke vende tilbake til øyene så lenge Magnus Barfot levde. Han var en tid i England, men for det meste oppholdt han seg i Skottland. På Bartolomeusnatten, den 24. august 1103, falt Magnus Barfot under sitt andre Vesterhavstokt. Magnus' eldre bror Erling falt sammen med ham. Kongssønnen Sigurd, senere kjent som Sigurd Jorsalfare, dro tilbake til Norge for å bli hyllet som konge, og han utnevnte Håkon Pålsson til jarl på øyene.