Agenor, duc de Gramont

Ia lahir di Paris dari salah satu keluarga paling diilustrasikan dari bangsawan lama, sebuah cabang kadet dari para viscount Aure, yang mengambil namanya dari Seignory dari Gramont di Navarre. Kakeknya, Antoine Louis Marie, duc de Gramont (1755–1836), berpindah saat Revolusi Perancis, dan ayahnya, Antoine Heraclius Genevieve Agenor (1789–1855), duc de Gramont dan de Guiche, yang berperang dibawah bendera Inggris saat Perang Semenanjung, menjadi letnan-jenderal dalam tentara Perancis pada 1823, dan pada 1830 ikut Charles X dari Perancis ke Skotlandia.