Granville era nieto de Bevil Grenville, uno de los comandantes de las fuerzas realistas en la Guerra Civil Inglesa.