I historiske skrifter er det omtalt kirke på Fjell tidligst i 1338. Etter dette har man nedtegnet at en trekirke ble revet her i 1795, noe som gjør det mindre sannsynlig at det var den samme kirken som ble beskrevet over 450 år tidligere. Noen nedriving og gjenoppbygging i denne perioden er imidlertid ikke skriftlige kilder på, men det er omtalt reparasjoner av en kirke i tømmer på slutten av 1600-tallet. I omtale av ytterligere reparasjoner i 1722 nevnes også et tårn. I perioden 1680 til 1722 ble det gravlagt døde under kirkegulvet, det var i hovedsak vel bemidlede sogninger som sikret seg dette. Skikken ble ikke forbudt før i 1805, og likkistene ble ikke fjernet da man bygget ny kirke, og de ble stående helt til man rev den andre kirken i 1875 og samlet disse i en fellesgrav på sørsiden av kirken. miniatyr|høyre|Eldre bilde av Fjell kirke. Man rev nemlig ikke hele kirken i 1795, for skipet i den gamle kirken ble brukt som kor, mens et nytt skip ble reist på østsiden og kirketårnet i enden av koret. Den nye kirken sto ferdig i 1796. Allerede i 1820 omtales kirken som dårlig vedlikeholdt i en visitasmelding, og i 1844 noterte sogneprest Claus Severin Frimann Reimers at «Der har iaar været foretaget en betydelig, men høist fornøden Reparation paa dens Gulve og Tag». Som i mange andre sogn på denne tiden var kirken i privat eie, noe som kan forklare at vedlikeholdet ble begrenset til et minimum. Byggematerialene var imidlertid ikke i verre forfatning enn at de ble gjenbrukt til reising av skolehus på Skoge og Snekkevik. Sistnevnte er fortsatt intakt.