De konservative tapte makten i valget i 1964 og mellom 1964 og 1970 var Carington opposisjonsleder i Overhuset. Da de konservative igjen kom til makt i 1970 under Edward Heath, ble Carington forsvarsminister. Han tjenestegjorde fra januar til mars 1974 som energiminister under Heath. Han var igjen opposisjonsleder i Overhuset fra 1974 til 1979. Så ble han utenriksminister i Margaret Thatchers regjering.