Det har sannsynligvis stått kirke på Torsken siden første halvdel av 1400-tallet, men det er sikre bevis for kirke der fra 1589. Utover 1600- og 1700-tallet var det tunge økonomiske tider for fiskerne i området, og kirkevedlikeholdet led som følge av dette. I 1770-årene ble det derfor bestemt å bygge en ny kirke. Mellom 1781 og 1784 plukket man derfor ned den gamle kirken og satte den opp igjen et stykke vekke. I prosessen bytten man ut de som var ødelagt.