Antagelig har plassen som kirken ligger på nå blitt brukt som norrønt gudehov i førkristen tid. Den første kirken som ble bygd på stedet ble viet til Olav den hellige. Kirken på stedet har brent flere ganger. Den nåværende Borge kirke ble bygd i 1861. I 1946–50 ble kirken restaurert etter planer av Dagfinn Morseth og Mads Wiel Gedde. Det det opprinnelige tårnet ble revet, og kirken fikk nytt tårn.