Man vet ikke sikkert når den første kirken ble bygget, men den er trolig bygget like etter Moster gamle kirke. Den første kirken på staden ble bygget i tilknytning til kongsgården som lå på Fitjar. Siden kirken ble bygd på kongsgården sin grunn og presten fikk en del av kongsgården til prestegård, er det stor grunn til å tro at det var kongen selv eller en av lensherrene hans som bygget kirken. Kanskje var dette Aslak Fitjaskalle som Olav den hellige sendte hit på begynnelsen av 1000-tallet. Steinen i kirken skal ifølge historien ha vært hentet fra Sandvik på Osterneset, nord for Fitjar sentrum, og dette kan vel stemme siden det fortsatt er spor i berget på at stein er hogd ut herfra.