Navnet kommer av det norrøne gårdsnavnet eller som betyr «sjøgården». Dette var navnet på Sem hovedgård, en kongsgård og lensherreresidens i middelalderen på det stedet hvor Jarlsberg hovedgård i dag ligger, vel 3 km øst for tettstedet Sem.