Etter Heath-regjeringens nederlag mot Harold Wilson i de to valgene i 1974 (28. februar og 10. oktober 1974) trakk Douglas-Home seg tilbake fra politikkens første geledd, men fortsatte med intervensjoner i Overhuset helt frem til 1990-årene.