Han var født i Christiania som eldste sønn av lensgreve Herman Wedel-Jarlsberg og Karen Christiane Andrea Anker. Han ble sekondløytnant i den norske marine i 1831, premierløytnant i 1838 og tok sin avskjed som sjøoffiser i 1840. Ved farens død i 1840 overtok han grevskapet Jarlsberg, hvor han ble den siste greve på Jarlsberg.