Skjøtningberg var et større fiskevær tidlig på 1400-tallet, med 200-250 innbyggere. Men folketallet gikk ned, og i 1694 ble det rapportert at det bare bodde 7 mann her. Skjøtningberg kirke var hovedkirke for et prestegjeld frem til 1819, men kirkebygningen var alt på 1700-tallet svært forfalt og ble revet.