1846 erbte er beim Tod seines Vaters dessen Adelstitel als 2. Earl Granville, 2. Viscount Granville und 2. Baron Leveson. Aufgrund des Titels wurde er Mitglied des House of Lords und schied aus dem House of Commons aus. Er erhielt, als die Whigs 1846 wieder ans Ruder kamen, die Stelle eines "Master of the Buckhounds". Im Mai 1848 wurde er Vizepräsidenten des Board of Trade. In der Kommission für die Weltausstellung von 1851 in London führte Granville den Vorsitz.