Fra 1930 overtok nevøen Herman Wedel-Jarlsberg bestyrelsen av godset, og i 1946 ble han godsets forpakter. I 1946 kjørte nevøen sin onkel Karl til Grimstad for å feriere, hvor Karl Wedel-Jarlsberg ble syk. Han døde på Arendal sykehus, og ble bisatt fra Sem kirke. Han er gravlagt i på familiegravstedet som ble anlagt i 1868 i parkområdet Store Gullkronen på Jarlsberg.