Kirken skal ha vært mye lik Moster gamle kirke på Moster på Bømlo, den eldste kirken i Norge. Middelalderkirken på Fitjar skal derimot ha vært større. Den var av stein med kirkehus, kor av mur og våpenhus i tre. Denne kirken ble revet da den nåværende trekirken ble bygget. Stein fra den gamle kirken ble brukt som steingard rundt kirkegården.