海尔什姆勋爵亦因此宣佈退出政坛。不过在1978年，其第二任妻子因为在澳洲骑马时遇上意外丧生，结果激发他重新返回政坛。不久，在1979年，戴卓尔夫人成功领导保守党上台执政，而基于海尔什姆勋爵此时已成为党内极具声望和地位的元老，戴卓尔夫人惟有委任他再度担任大法官。海尔什姆勋爵与戴卓尔夫人的关系只属一般。据悉，戴卓尔夫人在1975年成为保守党史上第一位女党魁时，海尔什姆勋爵曾因此而叹息泣然，以为保守党竟沦落至要以女流之辈支撑大局。相反，据前环境大臣夏舜霆忆述，戴卓尔夫人对海尔什姆勋爵专敬之余亦怀有戒惧，所以她