Heinrich von Gagern var en av seks sønner av politikeren, diplomaten og kulturhistorikeren Hans Christoph Ernst Freiherr von Gagern. Den katolske moren Karoline, kalt Charlotte, var hoffdame i Mannheim og giftet seg som 17-åring med sin protestantiske mann. Paret fikk ti barn. Slekten var adelig og forfedrene hadde vært offiserer, blant annet for republikken Venezia og for Frankrikes væpnede styrker.