Han ble født på Vækerø som sønn av lensgreve Johan Caspar Herman Wedel Jarlsberg og Karen Christiane Andrea Anker. Wedel-Jarlsberg var offiser i marinen fra 1831 til han tok sin avskjed som premierløytnant i 1846. I 1853 var han eier av Bærum- og Hakkedal jernverker. I 1862-64 og 1865-67 var han stortingsrepresentant i Akershus Amt.