Helt siden vikingtiden har Jelsa vært et samlingssted for religiøse offer. På stedet der kirken står i dag, har det tidligere stått en liten stavkirke som er nevnt i kilder så tidlig som 1286. Det finnes også tegn på at dette kan ha vært stedet for et gudehov i vikingtiden. Etter hvert som befolkningen økte, ble stavkirken altfor liten. Da den nye kirken skulle bygges, ble den bygget utenpå den første. Denne kirken stod ferdig i 1647 og var rikt utsmykket med utskjæringer på benkefrontene, prekestol med apostelmaleri malt av Gottfried Hendtzschel og et tak som viste en himmelhvelv med millioner av stjerner. Jelsakirken var et praktverk, men i 1850 skulle kirken gjøres mer moderne. Den fikk liggende kledning og ble malt hvit både utvendig og innvendig. Himmelkvelven og andre takmaleri ble malt over og benkene ble byttet ut med noen enklere, men kirken fikk også nytt galleri og døpefont. Etter mange år savnet folk den flotte kirken sin slik den hadde vært tidligere, og i 1950 ble den restaurert tilbake til det opprinnelige.