Con los ataques incesantes de la oposición, abandona bruscamente sus asuntos, y se retira a sus tierras de Lutton (Berkshire), donde se consagra a la botánica.