Han tilhørte slekten Wedel-Jarlsberg og var sønn av sjøoffiseren og kammerherren Ferdinand Wedel-Jarlsberg (1823–1907) og den nordfrisiske Clementine Wilhelmine Clotilde Fredrikke Rosalie Wedel-Evenburg-Gödens (1832–1907), som tilhørte en annen gren av Wedel-familien. Han var barnebarn av tollinspektør Fredrik Wilhelm Wedel-Jarlsberg og fetter til diplomaten Fritz Wedel Jarlsberg, som solgte Skaugum til kongefamilien.