Kirken ble trolig bygd ca. 1613, men revet rundt 1735 for å brukes til reparasjoner av andre kirker. Befolkningstallet i Kjøllefjord var lavt på dette tidspunktet; ved skattemanntallet i 1668 bodde det 20 mennesker her, mens det i 1694 kun bodde 8 her, i tillegg til sognepresten.