Hallfred dro så tilbake til Norge og ble en tid hos Eirik jarl, Håkon jarls sønn, som hans skald. Sine siste år tilbrakte han mer på Island enn i Norge, men var preget av skaldens uro og rastløshet. På en reise fra Island ble han truffet av seilbommen og skadet av en slik art at han døde av det, rundt førti år gammel.