Lyttelton, New Zealand
ジャマイカ総督のウィリアム・ヘンリー・リトルトン（後の初代リトルトン男爵および初代ウェストコート男爵）と1人目の妻メアリー（、旧姓マカートニー（）、1765年5月28日没、の娘）の長男として、1763年10月27日にジャマイカのスパニッシュ・タウンで生まれた。1781年4月24日、オックスフォード大学ベリオール・カレッジに入学した。