Henriettes far ble født i Hamburg, men vokste opp hos morbroren, naturforskeren J.G.R. Andreae i Hannover, etter at moren døde og faren innledet sitt omreisende teaterliv. Han begynte som lærling i handels- og bankierfirmaet Berenberg i Hamburg som 17-åring i 1775, ble medeier da han i 1788 giftet seg med den eldste datteren av firmaets eiere Johann Hinrich Gossler og Elisabeth Berenberg – Henriettes besteforeldre – og ble firmaets leder i 1790. Mormoren Elisabeth Berenberg tilhørte en opprinnelig nederlandsk familie fra Antwerpen som grunnla handelshuset Berenberg i Hamburg i 1590, og ble enearving til firmaet da mennene i familien døde ut. Henriettes far var fra 1790-årene en av Hamburgs ledende kjøpmenn og bankierer, som spilte en betydelig rolle i utviklingen av handel med Amerika og Asia, og var også en av Hamburgs ledende politikere i årene rundt Napoleonskrigene. Henriette var kusine til førsteborgermester, dvs. statsoverhode, i Hamburg Hermann Gossler. Hun var også niese av Sturm und Drang-dramatikeren Johann Anton Leisewitz. Felix Hoppe-Seyler, grunnleggeren av biokjemi og molekylærbiologi, var adoptivsønn av Henriettes fetter.