Han ble født på Jarlsberg som sønn av Frederik Christian Otto Wedel-Jarlsberg og Sophie Rigborg Amalie Huitfeldt. Han valgte en militær løpebane, men på grunn av et svakt helbred skiftet han over til diplomatiet. Greven virket som gesandt i Napoli, Haag, London og Wien, og i dette omflakkende liv vokste hans barneflokk opp. I 1772 hadde han giftet seg med den frisinnede Catharine von Storm, datter av kammerherre Caspar Herman Storm og Ida Sophie von Mangelsen (1736–1766). Familien bodde kun sjeldent på Jarlsberg.