Earlan af Hardwicke , konservativledamot