I motsetning til en del av sine forgjengere, bodde greven fast på Jarlsberg, hvor han døde i 1893.