1987年访港时，曾有议员打断他的发言，并拉起横额抗议，指骂英方不负责任。1990年11月1日，作为最资深的内阁成员，他因反对戴卓尔夫人的反对欧洲一体化政策，他宣布辞去所有职务，结束内阁生涯。他这个行动被认为直接影响到三星期后，后座议员、前国防大臣夏舜霆其后宣布挑战戴卓尔夫人的党魁地位，戴卓尔夫人最终无法能够取得足够支持，黯然下台。1992年获封为终身贵族，封号为「亚伯拉昂的贺维男爵」。
去世.2015年10月9日，贺维看完歌剧后，在家中因心脏病发去世。