Navnet , som uttales (tidligere ), kommer av det norrøne gårdsnavnet eller som betyr «sjøgården». Dette var navnet på Sem hovedgård, Semsgodset, en kongsgård og lensherreresidens i middelalderen på det stedet hvor Jarlsberg hovedgård i dag ligger, vel tre km øst for tettstedet Sem. Omkring Semsgodset er det flere mindre underordnede gårder/bosetninger med sosiale og økonomiske relasjoner til hovedgården. Nabogårdene til Semgodset var i middelalder og etterreformatorisk tid preget av deleie og selveie. Bøndenes ting-institusjon var representert på Tem, en av få gårder som var i fullt selveie på 1600-tallet.