Han kom fra den kjente Wedel-Jarlsberg-slekten, og var sønn av grev Frederik Anton II Wedel-Jarlsberg (1748–1811) og Catharina (1756–1802, født von Storm). Storebroen Herman Wedel-Jarlsberg var eidsvollsmann.