Etter lokal tradisjon skal det ha stått ei kirke på Torskøya. Dette trekkes imidlertid i tvil av folkeminnesamler Arthur Brox, ettersom det i moderne tid ikke finnes spor av noen kirke på øya.