Hans bestefar, hertug Antoine Louis Marie de Gramont (1755–1836), hadde utvandret under revolusjonen. Hans far, hertug Antoine Heraclius Genevieve Agenor av Gramont og Guiche (1789–1855), hadde deltatt på britisk side under den spanske uavhengighetskrig og var i 1823 trådt inn som generalløytnant i den franske armé og ledsaget i 1830 den avsatte kong Charles X til hans skotske eksil. Den yngre generasjon var derimot bonapartistisk innstilt. Gramonts fetter grev Antoine Louis Raymond de Gramont (1787–1825), skapte seg navn og høy rang i Napoléon Bonapartes armé.