Konflikter med kirkelyden førte til at han i 1765 flyttet til Bergen og kjøpte seg et nytt embete der. I Gloppen tok sønnen Johan Widing Heiberg, da 29 år gammel, over prestestillingen, men måtte årlig betale en større avgift for å beholde kallet.