Gramont stammet fra en av de mest fornemme gamle adelsslekter, den yngre linje av hertugene av Aure, som tok sitt navn fra stamsetet Gramont i Navarra.