På Kvitsøy finnes et 3,9 meter høyt steinkors fra kristendommens første dager i Norge. I tillegg til å være et kristent symbol ble det også benyttet som seilingsmerke. Like ved steinkorset ligger ruinene av St. Clemenskirken. Denne ble etter sagnet revet i 1270. Døpefonten fra St. Clemenskirken er funnet og fungerer som døpefont i dagens kirke, som ble bygget i 1600.