Finn var til i begynnelsen også lojal mot den senere kong Harald Hardråde, og skal ha bistått aktivt i å forsone kongen med trønderne etter Einar Tambarskjelves død i 1050. Det ser ut som om belønningen for dette var at broren Kalv skulle få komme tilbake til landet etter flere år i landflyktighet. Det var imidlertid forhold omkring Kalv som året etter skulle føre til et endelig brudd mellom kongen og Finn. Kalv ble drept på Fyn i 1051, etter å ha blitt sendt av kongen i et Urias-aktig oppdrag mot en stor overmakt. Finn reagerte hardt på dette, brøt med kongen, og ble danskekongens Svein Estridssøns jarl i Halland.