Han var sønn av baron Herman Wedel-Jarlsberg (1818–1888) og oppvokst på Vækerø gård, et underbruk av familiens Bogstad gård.