Ingeborg Margrethe var datter av offiseren Johan Friedrich Wilhelm Haffner, til Dal og Sara Vilhelmine Hagerup (1770-1814). I Christiania møtte hun som 18-årig den 26 år gamle baron Frederik Wilhelm Wedel-Jarlsberg, som var på vei nordover som amtmann til Finnmarkens amt. 5. mai 1812 giftet paret seg i Christiania, og dagen etter la de ut på den seks uker lange reisen til Finnmarken. Vel fremme tok de opphold på Alten gaard. Senere ble baronen utnevnt til amtmann i Bratsberg og Jarlsberg og Laurvigs amt. I begynnelsen bodde de i Skien, men flyttet siden til Brunlaug ved Frederiksvern.