Peder Anker Wedel-Jarlsberg var sønn av stamhusbesitter på Jarlsberg Johan Caspar Herman Wedel Jarlsberg (1841–1922) og Helene Louise Celine von Radetzky-Mikulicz. Han var gift med Hermine Westye Egeberg, datter av industrimannen Einar Westye Egeberg og Birgitte Schou. Hermine Egeberg var også barnebarn av industrimannen Halvor Schou. Hun brakte blant annet eiendommen Esviken med inn i ekteskapet, hvor familien bodde store deler av året.