Det fortelles at det har stått to kirker på Olberg før dagens kirke ble reist. Den første skal ha blitt reist på et tidligere gudehov straks etter at kristentroen ble antatt her i bygda, altså i årene etter år 1050. Denne kirka skal ha vært viet til Hellige Olav og ha stått på den såkalte kirkehaugen ved Olberg i rundt 150 år, og må i så fall ha vært ei stolpekirke. Omkring år 1200 skal det ha blitt reist ei nye herredskirke på Olberg, som i så fall må være synonym med stavkirken dem rev der i 1859. Den kan ha blitt reist omkring år 1200, men dette kan ikke lenger dokumenteres. Det foreligger heller ingen beviser for ei tidligere kirke på denne plassen.