Sy gewildheid het egter gely onder die ekonomiese afswaai wat gevolg het op die energiekrisis in 1973, wat die einde van die "dertig glorieryke jare" ná die Tweede Wêreldoorlog was. Giscard d'Estaing het politieke opposisie van albei kante van die spektrum gehad: van die nuut-verenigde linkerkant van François Mitterrand en 'n opkomende Jacques Chirac, wat Gaullisme op 'n regse grondslag laat herleef het. In 1981 het hy ondanks hoë goedkeuringsvlakke sy herverkiesing in 'n afloopstryd teen Mitterrand verloor, met 48,2% van die stemme.