亦被迫去职，并成为了上议院的反对党领袖。后来在希思的带领下，保守党终在1970年大选后重新上台，而卡灵顿勋爵则获委任为国防大臣，后在1974年1月转任能源大臣，一直至同年3月保守党政府再次垮台为止。另外，在1972年至1974年期间，卡灵顿勋爵亦曾任保守党主席。保守党沦为在野党后，卡灵顿勋爵在1974年至1979年期间再度出任上议院反对党领袖。在1979年，保守党终于击倒工党上台，新首相戴卓尔夫人即聘任他到内阁供职，并且出任外务大臣兼海外发展部长。上任外相后不久，卡灵顿勋爵在1979年主持了兰卡斯特楼会