Gramont tok polyteknisk skole og ble i 1840 utnevnt til underløytnant, men forlot allerede samme år krigstjenesten. Etter februarrevolusjonen i 1848 sluttet han seg til prins Napoleon. Han ble utnevnt til i Kassel (1851), i Stuttgart (1852) og i Torino (1853), til ambassadør i Washington D.C. (1854), i Roma (1857) og i Wien (1861). Den 15. mai 1870 overtok han utenriksporteføljen i kabinettet Émile Ollivier. Hans løpebane som utenriksminister ble kort men skjebnesvanger.