Wedel Jarlsberg oppga sin militære karriere pga. svakelighet, og skiftet i stedet over til diplomatiet. Familien flyttet med ham rundt i Europa; barna fødtes i forskjellige land og fikk derved en rekke fyrstelige gudfedre og gudmødre. I Haag betrodde grevinnen til legasjonssekretær Herman Schubart, at hennes ektemann var en hustyrann som mishandlet sine tjenere og lot sitt onde lune gå ut over familien.