Grevskapet bestod bare i tre år, i forbindelse med Den Skånske krig falt Griffenfeld i unåde hos kong Christian V, og grevskapet ble 1676 inndratt til kronen. Dette ble 1678 solgt til stattholder Ulrik Frederik Gyldenløve, som allerede var innehaver av Laurvig Grevskab, og dermed ble herre over hele det senere Vestfold fylke. I 1683 solgt videre til feltmarskalk, baron Gustav Wilhelm von Wedel, og fra 3. juni 1684 ble Grevskabet Jarlsberg opprettet.