Han fødtes på Jarlsberg som sønn av grev Peder Anker Wedel Jarlsberg og Hedevig Betzy Annette Sigismunda Anker. I sin tidlige ungdom, studerte han malerkunsten under opphold i Karlsruhe og Göttingen, en interesse han bibeholdt hele livet. I Tyskland traff han en annen kunstner, den høyadelige polskættede Helene Louise Celine Radetzka-Miculicz (1847–1931) hvis far var russisk kammerherre. Paret giftet seg i 1867, hvoretter de bosatte seg på gården Rise under Jarlsberg, og flyttet senere inn til Christinia. I 1893 arvet han Jarlsberg etter faren hvoretter paret slo seg ned her. Han ble herigjennom den første med tittelen . I 1904 ble han utnevnt til øverste kammerjunker.