Ved Sem kongsgård ble fylkeskirken, dagens Sem kirke, reist tidlig på 1100-tallet. Før bygginga av Tunsberghus under Håkon Håkonsson var Sem det stedet der kongene på sine reiser omkring i landet har tatt opphold.