Han var sønn av Frederik Anton Wedel Jarlsberg (1748-1811), greve til Jarlsberg og dansk-norsk diplomat, og Catharina Storm (1756–1802). Foreldrene ble separert i 1797.