Han og tvillingbroren Christian August (d. 1870) var sønner av premierløytnant, senere hoffstallmester Wilhelm Frederik Wedel-Jarlsberg og Anna Dorothea Eliesen. Anton Frederik Wedel-Jarlsberg ble student i 1833, og cand. juris i 1839. Etter sin eksamen slo han seg ned som proprietær på Onsøy, hvor han også ble praktiserende sakfører. Ved farens død i 1855 overtok han Strand Øvre hvor han bodde til sin død.