Hun ble født på Altengaard i Finnmark som datter av amtmann Fredrik Wilhelm Wedel-Jarlsberg og hustru Ingeborg Margrethe von Haffner. 1814 ble faren beordret til Bratsbergs amtmannsembete og flyttet med familien til Skien, siden til Brunla gård. På det nærliggende Fossum fikk Hildur undervisning sammen med den jevnaldrende Sophie Løvenskiold. I de i 1913 utgitte memoarer forteller hun om livet på Fossum hvor selv huslærerne møtte i kjole og hvitt til middagen, mens damene bar utringete silkekjoler og hansker.