Frimann var stor jordeier, og kom ikke heilt godt ut av det med kirkelyden. Hans virke som prest samstemte ofte dårlig med hans økonomiske interesser. Nidkjære disposisjoner han gjorde i egenskap av jordier og forretningsmann førte ham inn i konflikter med mange leilendingsbønder. I tillegg til dette var han ein mann som vernet om embetsstandens posisjoner. Med sine store inntekter som jordeier og fra fiskeri bygde han et herrskapshus nær ved prestegården. Her bodde han sine siste år, som en av Nordfjords mektigste menn.