Heiberg etablerte skolefundas i Gloppen i 1743, og arbeidet for å få til omgangsskoler i kommunene. Han utførte prestekalet sitt med hard hånd, og kunne holde kirkelyden med preker på 3 til 4 timer. Ved avhøring av konfimanter hadde han soldater i kirken.