Han var født i India og var den eldste sønnen til Charles Grant som var styreformann for direktørene i British East India Company. Han utdannet seg ved Magdalene College i Cambridge. Han ble kalt til skranken i 1807 og ble i 1811 valgt til underhuset som medlem av parlamentet for Inverness Burghs. Han ble sittende til 1818 da han ble valgt som parlamentsmedlem for Inverness-shire.