Tettstedet Sem hører inn under Sem menighet, som eier Sem kirke, en romansk steinkirke oppført i første halvdel av 1100-tallet. Kirken står ca. tre km nordøst for Sem sentrum, langs riksvei 35, og like i nærheten av Sem hovedgård. I dette området ligger også Jarlsberg flyplass, som ble anlagt i 1940.