La sua seconda permanenza a 10 Downing Street è stata contrassegnata da una recessione in seguito alla guerra dello Yom Kippur. Il primo shock petrolifero che seguì, così come lo sciopero dei minatori del febbraio 1974, ebbe importanti conseguenze per l'economia britannica, soprattutto con la crisi dei titoli di Stato del 1974, mentre l'inflazione raggiunse livelli esorbitanti. Appena due anni dopo l'adesione del Regno Unito alla Comunità economica europea, ha indetto un referendum sulla questione, in cui ha vinto il "sì". Incapace di governare senza una maggioranza alla Camera dei comuni, decise di ritirarsi a favore di James Callaghan dimettendosi il 5 aprile 1976. È stato elevato al titolo nobiliare di pari ed è entrato a far parte della Camera dei lord dopo aver lasciato la Camera dei comuni nel 1983.