以他不得不放弃自己的下院席位。海尔什姆勋爵曾认为自己的政治生涯已自此终结，因此他曾主动淡出政坛，并专注发展法律业务，在自己的律师行担任主席。不过，当保守党于1951年重新上台后，他又开始参与政治。至1956年，备受苏伊士运河危机困扰的首相艾登委任他为第一海军大臣，而继任的另一保守党首相麦美伦亦曾在1957年委任他为枢密院议长、保守党主席，以及1959年大选的竞选活动筹办人。保守党在1959年大选胜出以后，海尔什姆勋爵备受重视，进而短暂出任掌玺大臣，至1960年改任上院领袖兼枢密院议长，后来又在1962年兼任