Våren 1162 rustet Håkon opp for å gå mot Erling Skakke, som var i Bergen med en stor hær. Håkon seilte sørover mot øyene der Ålesund i dag ligger, og kom opp på ei øy hvis navn ikke er kjent. På dette stedet holdt folkene hans leik (en form for krigsspill) da det kom en robåt fra land med budskap om at en flåte nærmet seg i sør. Håkon Herdebrei og hans hær ble overrasket, de fikk ikke tid til å organisere seg mot dette angrepet. Erling Skakkes flåte var stor og Håkon Herdebrei valgte å søke tilflukt i kjøpstaden på Veøy og håpte å få hjelp der. På grunn av den hastige ordren om å trekke seg tilbake til Veøy ble ikke hæren jevnt fordelt mellom skipene. Erlings flåte innledet en forfølgelse, og forsøkte å innhente Herdebreis flåte i fjordene helt fram til Romsdalsfjorden. Underveis seilte begge flåter forbi Hildre, gjennom Midfjorden og Moldefjorden den 7. juli 1162.