第6代スタンフォード伯爵ジョージ・ハリー・グレイとヘンリエッタ・シャーロット・エリザベス・チャータリス()の長男として、1802年4月5日に生まれた。