Akkurat når den første kirken ble reist der vet man ikke, men noen hevder at det har stått to kirker på Olberg før dagens kirke ble reist. Den første skal ha blitt reist på et tidligere gudehov straks etter at kristentroen ble antatt her i bygda, altså i årene etter år 1050. Denne kirka skal ha vært viet til Hellige Olav og ha stått på den såkalte kirkehaugen ved Olberg i rundt 150 år, og må i så fall ha vært ei stolpekirke. Omkring år 1200 skal det ha blitt reist ei nye herredskirke på Olberg, som i så fall må være synonym med stavkirken dem rev da dagens kirke ble reist.