Da Håkon jarl druknet i et skipsforlis høsten 1029, bestemte Olav seg for å dra tilbake til Norge.