Fils d'Antoine IX (1789-1855), de Gramont, et de la duchesse née Ida d'Orsay, Agénor de Gramont dut prendre le chemin de l'exil, avec ses parents, au moment de la révolution de Juillet. Ils restèrent en Angleterre jusqu'en 1833, puis revinrent à Paris.