I 1999 døde faren til den nåværende eieren. Jarlsberg er det eneste av Norges to tidligere grevskaper der etterkommerne etter de opprinnelige adelige eierne fortsatt forvalter og driver eiendommen. I dag kalles forvalterne stamhusbesittere. De har rett til å disponere eiendommen og råder over avkastningen, med eier den ikke. Eiendommen er selveiende. Nåværende stamhusbesitter, Carl Nicolaus Wedel Jarlsberg, ble den trettende generasjonen da at han tok over i 1996. Hans mor bor i kårboligen på stedet. Eiendommen er skattefri og inkluderer fire naturreservater og ett landskapsvernområde.