Nach der Niederlage bei Weißenburg am 4. August 1870 trat Gramont am 9. August zusammen mit den anderen Ministern des Ministeriums Ollivier zurück. Nach der Revolution im September 1870 ging er nach England. Nach dem Krieg kehrte er nach Paris zurück, wo er 1880 starb. Er war seit dem 27. Dezember 1848 mit Emma Mary Mackinnon (1811–1891), einer Schottin, verheiratet. Im Ruhestand veröffentlichte er verschiedene Apologien seiner Politik von 1870, namentlich "La France et la Prusse avant la guerre" (Paris, 1872).