Hun ble født på Eidsvoll som datter av generalmajor på Storhamar Erik Theodor Christian Bernhardus Anker (1785–1858) og Betzy Sneedorff (1790–1875). 25. oktober 1839 giftet hun seg med sin firmenning grev Peder Anker Wedel Jarlsberg. Paret slo seg ned på Jarlsberg hvor de holdt dørene åpne for høy og lav. Da grevinnen var kunstinteressert kom her både kunstnere og vitenskapsmenn på besøk. I 1850 giftet hennes 11 år yngre søster Betzy (1830–1912) seg med Hans Gude, hvorfor familien også fikk en forbindelse til kunstmiljøet i Tyskland.