Hovedgården Sem gård ble fra denne tid av hetende Jarlsberg hovedgård. Navnet Jarlsberg antas å skrive seg fra Gyldenløve, som var interessert i Norges gamle historie og formodentlig selv laget dette velklingende navn i tilknytning til det gamle Jarlsø ved Tønsberg og under påvirkning av den engelske earlverdighet. Det forekommer første gang brukt i et offentlig dokument (i Norske Tegnelser) den 6. mars 1680 og betegner der hele grevskapet; men samtidig eller meget snart etter ble det også festet til Sem gård, som kaltes Jarlsberg grevelige residens eller Jarlsberg hovedgård.