Grenville var sønn av whigstatsminister George Grenville. Hans mor Elizabeth var datter av torypolitikeren William Wyndham Bart. Han hadde to eldre brødre Thomas og George - og han var dermed onkel til den første hertugen av Buckingham og Chandos.