Dette førte til et bittert uvennskap mellom de to mennene. I 1239 reiste hertug Skule opprørsfanen mot kong Håkon Håkonsson, og etter å ha tapt slaget i Oslo i 1240 måtte Skule søke tilflukt i Elgeseter kloster ved Nidaros. Kongen sendte da Åsulv og hans birkebeinere mot hertugen. De satte ild på klosteret, og drepte deretter Skule og følget hans da han forsøkte å berge seg ut. Dette var å betrakte som helligbrøde, og ifølge lokalhistorikeren O.J. Johansen fikk Åsulv syndsforlatelse og dro på pilegrimsferd i «sydlige lande». Historikeren Henrik Mathiesen skriver at det er tenkelig at Åsulv måtte ut på en pilegrimsferd, som han kanskje aldri kom tilbake fra. Han nevnes ihvertfall ikke senere i historien.