Dagens kirke ble opprinnelig bygd omkring 1100 ved den gamle Sem kongsgård. Sannsynligvis var en kirke av tre da allerede oppført her, kanskje som en av landets aller første. Før reformasjonen var kirken viet til St. Olav.